CN107958028A - 数据采集的方法、装置、存储介质及终端 - Google Patents

数据采集的方法、装置、存储介质及终端 Download PDF

Info

Publication number
CN107958028A
CN107958028A CN201711140378.1A CN201711140378A CN107958028A CN 107958028 A CN107958028 A CN 107958028A CN 201711140378 A CN201711140378 A CN 201711140378A CN 107958028 A CN107958028 A CN 107958028A
Authority
CN
China
Prior art keywords
data
sql
data source
form template
report form
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711140378.1A
Other languages
English (en)
Inventor
梁博
王定鑫
温善安
李磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201711140378.1A priority Critical patent/CN107958028A/zh
Priority to PCT/CN2017/112778 priority patent/WO2019095424A1/zh
Publication of CN107958028A publication Critical patent/CN107958028A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/211Schema design and management
    • G06F16/213Schema design and management with details for schema evolution support
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明适用于通信技术领域,提供了一种数据采集的方法、装置、存储介质及终端,包括:加载数据源管理界面,基于所述数据源管理界面配置数据源,以供采集者选择,所述数据源类型包括Oracle数据库或Hive数据库;加载报表模板管理界面,基于所述报表模板管理界面设置报表模板的数据源,构建SQL模型,并根据所述SQL模型生成对应的报表模板;在进行数据采集时,读取所述SQL模型中的SQL语句,按照所述SQL语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。本发明实现了采集者自主的数据采集操作,提高了数据采集的效率,降低了数据采集的风险,支持对常规数据库Oracle或数据仓库Hive的采集,丰富了数据采集的类型。

Description

数据采集的方法、装置、存储介质及终端
技术领域
本发明属于通信技术领域,尤其涉及一种数据采集的方法、装置、存储介质及终端。
背景技术
现有的数据采集方式,主要采用后台工具,比如PLSQL对数据进行采集,是一种过程化语言,没有可视化的操作界面,需要熟悉技术的IT人员进入后台数据库中操作。采集过程需要预先查询并确认所需采集的数据,然后由IT人员手动完成下载,操作专业性强,不方便。其他非IT人员无法自行进行数据采集,也不能自主设计数据展示页面,数据采集效率低,对数据库的操作风险高,且仅仅支持Oracle数据库采集。由于现有的数据采集方式需要预先确认所需采集的数据,无法实现定时采集。
发明内容
本发明实施例提供了一种数据采集的方法、装置、存储介质及终端,以解决现有技术在进行数据采集时采集效率低、操作风险高、无法定时采集的问题。
本发明实施例提供了一种数据采集的方法,所述方法包括:
加载数据源管理界面,基于所述数据源管理界面配置数据源,所述数据源类型包括Oracle数据库或Hive数据库;
加载报表模板管理界面,基于所述报表模板管理界面设置报表模板的数据源,构建SQL模型,并根据所述SQL模型生成对应的报表模板;
在进行数据采集时,读取所述SQL模型中的SQL语句,按照所述SQL语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。
进一步地,所述方法还包括:
将所采集到的数据载入到指定文档中,将所述指定文档转换为压缩文件,并保存至文件服务器中;
获取所述压缩文件在文件服务器中的统一资源定位符。
进一步地,在构建SQL模型,并根据所述SQL模型生成对应的报表模板之后,所述方法还包括:
设置所述报表模板的定时采集时间;
按照预设时间间隔检测当前系统时间是否满足所述定时采集时间;
若当前系统时间满足所述定时采集时间,则读取所述SQL模型中的SQL语句;
按照所述SQL语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。
进一步地,所述基于所述数据源管理界面配置数据源,所述数据源类型包括Oracle数据库或Hive数据库包括:
在所述数据源管理界面上,根据接收到的操作指令配置数据源的基础信息,设置数据源的扩展属性;
其中,所述基础信息包括数据源类型、数据源平台名称、数据源所属URL、数据源生效状态,所述数据源类型包括Oracle数据库或者Hive数据库。
进一步地,所述构建SQL模型,并根据所述SQL模型生成对应的报表模板包括:
通过所述报表模板管理界面获取输入的SQL模型的标签信息、类型信息;
通过所述报表模板管理界面获取输入的至少一个SQL语句;
保存所述标签信息、类型信息以及SQL语句,生成SQL模型并进入可视控件编辑窗口;
根据所述SQL模型在所述可视控件编辑窗口中添加报表元素,其中一个SQL语句对应一个报表元素;
根据所选择的编辑控件对所述报表元素进行修改;
保存修改后的所述报表元素,生成报表模板。
进一步地,所述在进行数据采集时,读取所述SQL模型中的SQL语句,按照所述SQL语句从所设置的数据源中采集数据包括:
当接收到数据采集指令时,获取报表模板的名称信息;
根据所述名称信息获取所述报表模板已配置的SQL模型,读取所述SQL模型中的SQL语句,输出所述SQL语句的选择界面;
根据所选取的SQL语句从所设置的数据源中采集数据。
本发明实施例还提供了一种数据采集的装置,所述装置包括:
数据源配置模块,用于加载数据源管理界面,基于所述数据源管理界面配置数据源,所述数据源类型包括Oracle数据库或Hive数据库;
报表模板配置模块,用于加载报表模板管理界面,基于所述报表模板管理界面设置报表模板的数据源,构建SQL模型,并根据所述SQL模型生成对应的报表模板;
数据采集模块,用于在进行数据采集时,读取所述SQL模型中的SQL语句,按照所述SQL语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。
进一步地,所述装置还包括:
数据保存模块,用于将所采集到的数据载入到指定文档中,将所述指定文档转换为压缩文件,并保存至文件服务器中;
数据发送模块,用于获取所述压缩文件在文件服务器中的统一资源定位符。
进一步地,所述数据源配置模块具体用于:
在所述数据源管理界面上,根据接收到的操作指令配置数据源的基础信息,设置数据源的扩展属性;
其中,所述基础信息包括数据源类型、数据源平台名称、数据源所属URL、数据源生效状态,所述数据源类型包括Oracle数据库或者Hive数据库。
进一步地,所述报表模板配置模块还包括:
第一获取单元,用于通过所述报表模板管理界面获取输入的SQL模型的标签信息、类型信息;
第二获取单元,用于通过所述报表模板管理界面获取输入的至少一个SQL语句;
模型生成单元,用于保存所述标签信息、类型信息以及SQL语句,生成SQL模型并进入可视控件编辑窗口;
添加单元,用于根据所述SQL模型在所述可视控件编辑窗口中添加报表元素,其中一个SQL语句对应一个报表元素;
编辑单元,用于根据所选择的编辑控件对所述报表元素进行修改;
模板生成单元,用于保存修改后的所述报表元素,生成报表模板。
进一步地,所述数据采集模块还包括:
名称获取单元,用于当接收到数据采集指令时,获取报表模板的名称信息;
选择提示单元,用于根据所述名称信息获取所述报表模板已配置的SQL模型,读取所述SQL模型中的SQL语句,输出所述SQL语句的选择界面;
采集单元,用于根据所选取的SQL语句从所设置的数据源中采集数据。
进一步地,所述装置还包括:
定时设置模块,用于设置所述报表模板的定时采集时间;
定时采集模块,用于按照预设时间间隔检测当前系统时间是否满足所述定时采集时间,若当前系统时间满足所述定时采集时间,则读取所述SQL模型中的SQL语句,按照所述SQL语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序由处理器执行时实现如上所述的数据采集的方法所述的步骤。
本发明实施例还提供了一种终端,所述终端包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的数据采集的方法的步骤。
与现有技术相比,本发明实施例通过改进数据采集的操作流程,提供管理员和采集者可视化的操作界面;在进行数据采集前,首先加载数据源管理界面,根据管理员在所述数据源管理界面上的操作配置数据源,以供采集者选择,所述数据源类型包括Oracle数据库或Hive数据库;然后加载报表模板管理界面,根据采集者在所述报表模板管理界面上的操作设置报表模板的数据源,构建SQL模型,并根据所述SQL模型生成对应的报表模板;在进行数据采集时,则直接读取所述SQL模型中的SQL语句,按照所述SQL语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据;从而使得采集者可以自主地进行数据采集操作,提高了数据采集的效率,避免了进入后台数据库,降低了数据采集的风险,且不限于对常规数据库Oracle的采集,还支持对数据仓库Hive的采集,丰富了数据采集的类型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1是本发明实施例提供的数据采集的方法的第一实现流程图;
图2是本发明实施例提供的构建SQL模型,并根据所述SQL模型生成对应的报表模板的实现流程图;
图3是本发明实施例提供的数据采集的方法的第二实现流程图;
图4是本发明实施例提供的数据采集的方法的第三实现流程图;
图5是本发明实施例提供的数据采集的方法的第四实现流程图;
图6是本发明实施例提供的数据采集的装置的组成结构图;
图7是本发明实施例提供的终端的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例1
图1示出了本发明实施例提供的数据采集的方法的第一实现流程。
在本发明实施例中,所述数据采集的方法应用于终端,包括但不限于计算机、服务器等,用于从数据库中读取并下载数据。
参阅图1,所述数据采集的方法包括:
在步骤S101中,加载数据源管理界面,基于所述数据源管理界面配置数据源,所述数据源类型包括Oracle数据库或Hive数据库。
在这里,所述数据源管理界面为可视化的操作界面,用于辅助数据库管理员创建可供选择的数据库的bi源信息,包括在所述数据源管理界面上,根据所述管理员的操作配置数据源的基础信息以及设置数据源的扩展属性。其中,所述基础信息包括但不限于数据源类型、数据源平台名称、数据源所属URL、数据源生效状态。所述数据源类型包括Oracle数据库或者Hive数据库,以及MyBatis3.2.3、staticReporet1.0、IBMCognos8.4、IBMCognos10.2、Pentaho saiku5等其他数据库类型。不同的数据源类型对应的扩展属性不相同,其中,对于Oracle数据库和Hive数据库,所需设置的扩展属性包括但不限于数据源驱动类型、数据源用户、数据源密码、数据源链接。
对完成配置的数据源,则在报表模板管理界面中增加对应的选择项,以供采集者在创建报表时选择所需的数据库,从而丰富了数据采集的类型,不仅支持对常规数据库Oracle的采集,还支持对数据仓库Hive的采集,实现了海量数据的采集方式。
在步骤S102中,加载报表模板管理界面,基于所述报表模板管理界面设置报表模板的数据源,构建SQL模型,并根据所述SQL模型生成对应的报表模板。
在这里,所述报表模板管理界面为可视化的操作界面,用于辅助采集者自主配置数据查询条件以及设计数据展示页面,即报表模板。当进行数据采集时,采集者依次触发管理标识、报表管理标识、新增报表或修改报表页面标识后,终端加载报表模板管理界面,进入可视化的编辑页面。采集者可在所述报表模板管理界面上完成对报表模板的自助设计,包括选择数据源、输入要采集数据的SQL语句,从而无需进入后台数据库。终端则根据用户的操作依次设置数据源,根据所输入的SQL语句构建SQL模型,最后根据所述SQL模型生成包含所述SQL语句所查询出来的字段信息的报表模板。
作为本发明的一个优选示例,图2示出了本发明实施例提供的步骤S102中所述的构建SQL模型,并根据所述SQL模型生成对应的报表模板的实现流程。参阅图2,所述构建SQL模型,并根据所述SQL模型生成对应的报表模板包括:
在步骤S201中,通过所述报表模板管理界面获取输入的SQL模型的标签信息、类型信息。
在这里,所述报表模板管理界面上包括SQL模型的标签信息输入框、类型信息输入框、SQL语句的输入窗口以及目录。所述标签信息为SQL模型的ID信息,用于区分不同的SQL模型;所述类型信息为目录的表现方式,包括表格和非表格。
在步骤S202中,通过所述报表模板管理界面获取输入的至少一个SQL语句。
在本发明实施例中,每一个SQL语句包括查询参数、别名。在输入窗口中写入的SQL语句,通过所述目录来展示,以方便用户查看。其中别名需要与SQL配置中的结果别名一样,如果没有别名,则需要使用大写字母。
示例性地,假设输入窗口中写入的SQL语句包括:
SELECT R.NAME AS报表名称,L.OPR_USERNAME AS用户名,r.IS_VALID AS是否有效,COUNT(L.ID_REPORT_OPR_LOG)AS访问量FROM XXX
此时,所述目录中的内容包括四条,分别为:
NAME,报表名称;
OPR_USERNAME,用户名;
IS_VALID,是否有效;
COUNT(L.ID_REPORT_OPR_LOG),访问量。
在步骤S203中,保存所述标签信息、类型信息以及SQL语句,生成SQL模型并进入可视控件编辑窗口。
在完成SQL语句的配置后,若检测到保存指令时,则关联存储所述标签信息、类型信息以及SQL语句,生成以所述标签信息命名的SQL模型,然后进入可视控件编辑窗口。在本发明实施例中,所述可视控件编辑窗口用于采集者自主设计报表模板,其中包括多个不同功能的控件,采集者点击到相应的控件会弹出操作窗口。可选地,常用控件包括但不限于From表单控件、单行文本控件、插入时间控件、插入按钮控件、插入\编辑表格控件、保存控件等。在所述可视控件编辑窗口中,采集者可以完成对报表模板的自主编辑操作。
在步骤S204中,根据所述SQL模型在所述可视控件编辑窗口中添加报表元素,其中一个SQL语句对应一个报表元素。
在这里,所述报表元素为报表模板中的字段及其字段值输入框。终端首先获取采集者通过From表单控件输入的SQL模型的标签信息,然后根据标签信息获取对应的SQL模型及已配置的SQL语句,最后根据所述SQL语句在所述可视控件编辑窗口中展示对应的字段及其字段值输入框。
在步骤S205中,根据所选择的编辑控件对所述报表元素进行修改。
不同的编辑控件能够实现不同的编辑功能。示例性地,如前文所述,若检测到单行文本控件被选中时,则弹出操作窗口,以提示用户定义报表元素的修改方式。在所述操作窗口中,包括别名、名称、字符宽度、类型输入框以及确认标识。其中,所述名称用于指定对哪个报表元素进行编辑,需要与所配置的SQL语句的查询参数一致;所述字符宽度用于控制可视控件编辑窗口中字段值输入框的长度,所述类型用于定义输入框内容的格式,比如文本、图片等。若检测到采集者触发所述确认标识时,则将所述操作窗口上所定义的修改方式应用到报表元素上进行预览。
在步骤S206中,保存修改后的所述报表元素,生成报表模板。
当完成对所有报表元素的修改后,若检测到采集者触发所述保存控件时,则保存所述可视控件编辑窗口中当前所显示的报表元素,即应用修改方式后的报表元素,生成对应的报表模板。所述报表模板应当与所述可视控件编辑窗口所显示的报表元素一致。
上述实施例实现了可视化的报表模板编辑过程,采集者可以自主地设置数据采集的SQL语句以及设置数据展示的报表模板,无需IT人员的参与,也无需进入数据库,有利于提高数据采集效率,降低对数据库的操作风险。
在步骤S103中,在进行数据采集时,读取所述SQL模型中的SQL语句,按照所述SQL语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。
在完成数据源选择和报表模板的设计之后,采集者可以随时进行数据采集。终端依据所构建的SQL模型中的SQL语句从所选择的数据源中采集数据。示例性地,如所选择的数据源为Hive数据源时,则根据所配置的数据源也就是Hive数据库的连接串信息采集数据。采集者每次数据采集时无需再找数据库管理者或者IT人员进行操作,有利于降低数据库操作风险,提高数据采集的效率。
进一步地,现有技术在进行数据采集时,只能按照SQL模型中的所有SQL语句采集全部的字段。而生成的报表模板是可以提供给多方业务的采集者使用的,报表模板中的字段并非全部都是采集者所需的。对不同的业务方采集者,有些字段可能是无实际意义的,现有技术采集全部字段,明显增加了采集者查看数据的压力。鉴于此,基于图1提供的数据采集的方法的第一实现流程的基础上,提出本发明实施例提供的数据采集的方法的第二实现流程。
如图3所示,是本发明实施例提供的数据采集的方法的第二实现流程图,所述步骤S103在进行数据采集时,读取所述SQL模型中的SQL语句,按照所述SQL语句从所设置的数据源中采集数据包括:
在步骤S1031中,当接收到数据采集指令时,获取报表模板的名称信息。
在这里,所述名称信息为报表模板的ID信息,用于区分不同的报表模板,比如车险批改清单、寿险月售清单等。
在步骤S1032中,根据所述名称信息获取所述报表模板已配置的SQL模型,读取所述SQL模型中的SQL语句,输出所述SQL语句的选择界面。
在本发明实施例中,不同的报表模板可以共享相同的SQL模型。每一个报表模板都有对应的名称信息,以及已经配置好的一个或多个SQL模型。在进行数据采集时,根据所获取的名称信息,查询对应的报表模板及其已配置的SQL模型,得到所有SQL语句,从而得到报表模板设置过程中所定义的所有字段,输出所述SQL语句的选择界面,以供所述采集者选取本次数据采集所需的SQL语句。
在步骤S1033中,根据所选取的SQL语句从所设置的数据源中采集数据。
在所述选择界面上,每一个SQL语句对应的字段前有一个复选框,采集者可通过勾选所述复选框完成对字段的选取。终端根据所述勾选操作对SQL语句的指定标志位进行置位,以将选取的字段与未选取的字段区分开来。在完成字段的选取之后,当检测到查询或下载指令时,遍历所有的SQL语句,查找指定标志位已置位的SQL语句,得到所有选取的SQL语句,并根据所选取的SQL语句完成数据采集。
本发明实施例通过添加动态选取字段的功能,使得采集者可以在采集或下载数据之前再次从报表模板已配置的SQL语句中选取所需采集的字段,有效地减少了采集出来的无效数据,也减轻了采集者查看数据的压力。
进一步地,基于图1提供的数据采集的方法的第一实现流程的基础上,提出本发明实施例提供的数据采集的方法的第三实现流程。
如图4所示,是本发明实施例提供的数据采集的方法的第三实现流程图,所述方法还包括:
在步骤S104中,将所采集到的数据载入到指定文档中,将所述指定文档转换为压缩文件,并保存至文件服务器中。
示例性地,所述指定文档可以为excel文档,所述压缩文件可以为zip文件。采集到的数据会写入到excel文档中,然后压缩成zip文件,保存至文件服务器中。
在步骤S105中,获取所述压缩文件在文件服务器中的统一资源定位符。
在这里,所述统一资源定位符为压缩文件在文件服务器中的访问地址。压缩文件保存至文件服务器之后,文件服务器根据存放地址生成统一资源定位符URL,并发送至终端。终端获取所述统一资源定位符,采用预设的通信方式发送至采集者,使得采集者可以通过所述统一资源定位符访问、查看所采集到的数据,从而简化了采集者的查看操作,且通过设置专门的文件服务器来保存采集到的数据,确保了数据的完整性,即使在数据采集量过大时也可保证数据不会丢失。可选地,所述预设的通信方式可以为电子邮件。
进一步地,现有技术进行数据采集时,采集过程需要预先查询并确认所需采集的数据,然后由IT人员手动完成下载,由于存在预先查询和确认的环节,使得现有技术无法实现定时采集。为解决上述技术问题,基于图1提供的数据采集的方法的第一实现流程的基础上,提出本发明实施例提供的数据采集的方法的第四实现流程。
如图5所示,是本发明实施例提供的数据采集的方法的第四实现流程图,所述方法还包括:
在步骤S501中,加载数据源管理界面,基于所述数据源管理界面配置数据源,所述数据源类型包括Oracle数据库或Hive数据库。
在步骤S502中,加载报表模板管理界面,基于所述报表模板管理界面设置报表模板的数据源,构建SQL模型,并根据所述SQL模型生成对应的报表模板。
其中,步骤S501、步骤S502与图1实施例中所述的步骤S101、S102相同,具体请参见上述实施例的叙述,此处不再赘述。
在根据所述SQL模型生成对应的报表模板之后,所述方法还包括:
在步骤S503中,设置所述报表模板的定时采集时间。
在这里,定时采集是针对采集周期为天、周或月的指定时间点去执行数据采集。因此,所述定时采集时间包括所述指定时间点、采集周期,此外,还包括采集开始时间和采集结束时间。所述定时采集时间应当与每一个报表模板一一对应。所设置的定时采集时间会保存至数据库中,以备定时任务检测。
在步骤S504中,按照预设时间间隔检测当前系统时间是否满足所述定时采集时间。
在这里,Oracle中job任务有定时执行的功能,能够在指定的时间点或者每天的某个时间点自行执行任务。在本发明实施例中,定时采集任务可以选用job任务。所述job任务按照预设时间间隔去检测数据库中所存储的定时采集时间。若当前系统时间在所述定时采集时间范围内时,表明定时时间到达,触发数据采集任务,执行步骤S505。可选地,所述预设时间间隔可以为5分钟。
在步骤S505中,读取所述SQL模型中的SQL语句。
在步骤S506中,按照所述SQL语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。
综上所述,基于改进后的数据采集流程提供的报表模板管理界面和可视化操作,本发明实施例进一步在所述报表模板管理界面上增添对数据采集操作的定时设置功能,并增加定时任务检测所设置的定时采集时间,从而实现了对数据的定时采集,解决了现有技术无法实现数据定时采集的问题,有效地提高了数据采集的效率。
应理解,在上述实施例中,各步骤的序号的大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
实施例2
图6示出了本发明实施例提供的数据采集的装置的组成结构图,为了便于说明,仅示出了与本发明实施例相关的部分。
在本发明实施例中,所述数据采集的装置用于实现上述图1、图2、图3、图4、图5实施例中所述的数据采集的方法,可以是内置于终端的软件单元、硬件单元、软硬件结合的单元,所述终端包括但不限于计算机、服务器等。
参阅图6,所述数据采集的装置包括:
数据源配置模块61,用于加载数据源管理界面,基于所述数据源管理界面配置数据源,所述数据源类型包括Oracle数据库或Hive数据库;
报表模板配置模块62,用于加载报表模板管理界面,基于所述报表模板管理界面设置报表模板的数据源,构建SQL模型,并根据所述SQL模型生成对应的报表模板;
数据采集模块63,用于在进行数据采集时,读取所述SQL模型中的SQL语句,按照所述SQL语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。
可选地,所述装置还包括:
数据保存模块64,用于将所采集到的数据载入到指定文档中,将所述指定文档转换为压缩文件,并保存至文件服务器中;
数据发送模块65,用于获取所述压缩文件在文件服务器中的统一资源定位符。
可选地,所述所述数据源配置模块61具体用于:
在所述数据源管理界面上,根据接收到的操作指令配置数据源的基础信息,设置数据源的扩展属性;
其中,所述基础信息包括数据源类型、数据源平台名称、数据源所属URL、数据源生效状态,所述数据源类型包括Oracle数据库或者Hive数据库。
可选地,所述报表模板配置模块62还包括:
第一获取单元621,用于通过所述报表模板管理界面获取输入的SQL模型的标签信息、类型信息;
第二获取单元622,用于通过所述报表模板管理界面获取输入的至少一个SQL语句;
模型生成单元623,用于保存所述标签信息、类型信息以及SQL语句,生成SQL模型并进入可视控件编辑窗口;
添加单元624,用于根据所述SQL模型在所述可视控件编辑窗口中添加报表元素,其中一个SQL语句对应一个报表元素;
编辑单元625,用于根据所选择的编辑控件对所述报表元素进行修改;
模板生成单元626,用于保存修改后的所述报表元素,生成报表模板。
可选地,所述数据采集模块63还包括:
名称获取单元631,用于当接收到数据采集指令时,获取报表模板的名称信息;
选择提示单元632,用于根据所述名称信息获取所述报表模板已配置的SQL模型,读取所述SQL模型中的SQL语句,输出所述SQL语句的选择界面;
采集单元633,用于根据所选取的SQL语句从所设置的数据源中采集数据。
可选地,所述装置还包括:
定时设置模块66,用于设置所述报表模板的定时采集时间;
定时采集模块67,用于按照预设时间间隔检测当前系统时间是否满足所述定时采集时间,若当前系统时间满足所述定时采集时间,则读取所述SQL模型中的SQL语句,按照所述SQL语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。
需要说明的是,本发明实施例中的各模块/单元可以用于实现上述方法实施例中的全部技术方案,其具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
实施例3
本实施例提供一计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现实施例1中数据采集的方法,为避免重复,这里不再赘述。或者,该计算机程序被处理器执行时实现实施例2中数据采集的装置中各模块/单元的功能,为避免重复,这里不再赘述。
实施例4
图7是本发明实施例提供的一种终端的示意图,所述终端包括但不限于服务器、移动终端。如图7所示,该实施例的终端7包括:处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72。所述处理器70执行所述计算机程序72时实现上述数据采集的方法实施例中的步骤,例如图1所示的步骤S101至S103、图2实施例中所述的步骤S201至S206、图3实施例中所述的步骤S1031至S1033、图4实施例所述的步骤S104至S105以及图5实施例所述的步骤S501至S505;或者,所述处理器70执行所述计算机程序72时实现上述数据采集的装置实施例中各模块/单元的功能,例如图6所示模块61至67的功能。
示例性的,所述计算机程序72可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器71中,并由所述处理器70执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序72在所述终端7中的执行过程。例如,所述计算机程序72可以被分割成数据源配置模块、报表模板配置模块、数据采集模块,各模块具体功能如下:
数据源配置模块,用于加载数据源管理界面,基于所述数据源管理界面配置数据源,所述数据源类型包括Oracle数据库或Hive数据库;
报表模板配置模块,用于加载报表模板管理界面,基于所述报表模板管理界面设置报表模板的数据源,构建SQL模型,并根据所述SQL模型生成对应的报表模板;
数据采集模块,用于在进行数据采集时,读取所述SQL模型中的SQL语句,按照所述SQL语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。
所述终端7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端可包括,但不仅限于,处理器70、存储器71。本领域技术人员可以理解,图7仅仅是终端7的示例,并不构成对终端7的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述终端的控制中心,利用各种接口和线路连接整个终端的各个部分。
所述存储器71可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述终端的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘、智能存储卡(Smart MediaCard,SMC)、安全数字卡(Secure Digital,SD)、闪存卡(Flash Card),至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据采集的方法,其特征在于,所述方法包括:
加载数据源管理界面,基于所述数据源管理界面配置数据源,所述数据源类型包括Oracle数据库或Hive数据库;
加载报表模板管理界面,基于所述报表模板管理界面设置报表模板的数据源,构建SQL模型,并根据所述SQL模型生成对应的报表模板;
在进行数据采集时,读取所述SQL模型中的SQL语句,按照所述SQL语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。
2.如权利要求1所述的数据采集的方法,其特征在于,所述方法还包括:
将所采集到的数据载入到指定文档中,将所述指定文档转换为压缩文件,并保存至文件服务器中;
获取所述压缩文件在文件服务器中的统一资源定位符。
3.如权利要求1所述的数据采集的方法,其特征在于,在构建SQL模型,并根据所述SQL模型生成对应的报表模板之后,所述方法还包括:
设置所述报表模板的定时采集时间;
按照预设时间间隔检测当前系统时间是否满足所述定时采集时间;
若当前系统时间满足所述定时采集时间,则读取所述SQL模型中的SQL语句;
按照所述SQL语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。
4.如权利要求1至3任一项所述的数据采集的方法,其特征在于,所述基于所述数据源管理界面配置数据源,所述数据源类型包括Oracle数据库或Hive数据库包括:
在所述数据源管理界面上,根据接收到的操作指令配置数据源的基础信息,设置数据源的扩展属性;
其中,所述基础信息包括数据源类型、数据源平台名称、数据源所属URL、数据源生效状态,所述数据源类型包括Oracle数据库或者Hive数据库。
5.如权利要求1至3任一项所述的数据采集的方法,其特征在于,所述构建SQL模型,并根据所述SQL模型生成对应的报表模板包括:
通过所述报表模板管理界面获取输入的SQL模型的标签信息、类型信息;
通过所述报表模板管理界面获取输入的至少一个SQL语句;
保存所述标签信息、类型信息以及SQL语句,生成SQL模型并进入可视控件编辑窗口;
根据所述SQL模型在所述可视控件编辑窗口中添加报表元素,其中一个SQL语句对应一个报表元素;
根据所选择的编辑控件对所述报表元素进行修改;
保存修改后的所述报表元素,生成报表模板。
6.如权利要求1至3任一项所述的数据采集的方法,其特征在于,所述在进行数据采集时,读取所述SQL模型中的SQL语句,按照所述SQL语句从所设置的数据源中采集数据包括:
当接收到数据采集指令时,获取报表模板的名称信息;
根据所述名称信息获取所述报表模板已配置的SQL模型,读取所述SQL模型中的SQL语句,输出所述SQL语句的选择界面;
根据所选取的SQL语句从所设置的数据源中采集数据。
7.一种数据采集的装置,其特征在于,所述装置包括:
数据源配置模块,用于加载数据源管理界面,基于所述数据源管理界面配置数据源,所述数据源类型包括Oracle数据库或Hive数据库;
报表模板配置模块,用于加载报表模板管理界面,基于所述报表管理界面设置报表模板的数据源,构建SQL模型,并根据所述SQL模型生成对应的报表模板;
数据采集模块,用于在进行数据采集时,读取所述SQL模型中的SQL语句,按照所述SQL语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。
8.如权利要求7所述的数据采集的装置,其特征在于,所述装置还包括:
数据保存模块,用于将所采集到的数据载入到指定文档中,将所述指定文档转换为压缩文件,并保存至文件服务器中;
数据发送模块,用于获取所述压缩文件在文件服务器中的统一资源定位符。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序由处理器执行时实现权利要求1至6任一项所述的数据采集的方法所述的步骤。
10.一种终端,所述终端包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上述权利要求1至6任一项所述的数据采集的方法的步骤。
CN201711140378.1A 2017-11-16 2017-11-16 数据采集的方法、装置、存储介质及终端 Pending CN107958028A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711140378.1A CN107958028A (zh) 2017-11-16 2017-11-16 数据采集的方法、装置、存储介质及终端
PCT/CN2017/112778 WO2019095424A1 (zh) 2017-11-16 2017-11-24 数据采集的方法、装置、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711140378.1A CN107958028A (zh) 2017-11-16 2017-11-16 数据采集的方法、装置、存储介质及终端

Publications (1)

Publication Number Publication Date
CN107958028A true CN107958028A (zh) 2018-04-24

Family

ID=61964768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711140378.1A Pending CN107958028A (zh) 2017-11-16 2017-11-16 数据采集的方法、装置、存储介质及终端

Country Status (2)

Country Link
CN (1) CN107958028A (zh)
WO (1) WO2019095424A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108768791A (zh) * 2018-07-04 2018-11-06 山东汇贸电子口岸有限公司 一种信息采集配置管理系统及方法
CN108829653A (zh) * 2018-05-04 2018-11-16 山东中创软件工程股份有限公司 一种报表的生成方法、装置、设备及介质
CN109101519A (zh) * 2018-05-09 2018-12-28 广东辰宜信息科技有限公司 信息采集系统和异构信息融合系统
CN110502515A (zh) * 2019-08-15 2019-11-26 中国平安财产保险股份有限公司 数据采集方法、装置、设备及计算机可读存储介质
CN110619015A (zh) * 2019-09-20 2019-12-27 中国银行股份有限公司 支持大表的数据库系统的数据自动提取方法及系统
CN110866005A (zh) * 2019-09-26 2020-03-06 上海东方富联科技有限公司 一种物联网数据采集管理方法及系统、存储介质及终端
CN111008211A (zh) * 2019-12-06 2020-04-14 北京百分点信息科技有限公司 可视化接口的创建方法、装置、可读存储介质及电子设备
CN111611204A (zh) * 2020-04-30 2020-09-01 中国舰船研究设计中心 一种分布式任务进度数据采集与分析方法
CN111611444A (zh) * 2020-04-22 2020-09-01 国家卫星气象中心(国家空间天气监测预警中心) 一种极轨气象卫星通用故障诊断系统
CN111797178A (zh) * 2020-07-06 2020-10-20 国网安徽省电力有限公司 一种基于报表工具的数据采集与处理方法
CN112347749A (zh) * 2019-08-06 2021-02-09 南通深南电路有限公司 一种数据处理的方法、数据处理设备及数据处理系统
CN112506937A (zh) * 2020-10-30 2021-03-16 福建亿能达信息技术股份有限公司 一种数据库模型的在线配置方法、装置、设备和介质
CN112559281A (zh) * 2020-12-07 2021-03-26 恩亿科(北京)数据科技有限公司 一种基于配置的告警路由系统和方法
CN113010587A (zh) * 2019-12-19 2021-06-22 北京金山云网络技术有限公司 数据源配置方法、装置、终端、服务器及介质
CN113127547A (zh) * 2019-12-31 2021-07-16 新奥数能科技有限公司 一种数据处理方法、装置、智能终端及存储介质
CN113377851A (zh) * 2021-06-11 2021-09-10 上海妙一生物科技有限公司 一种数据处理系统及方法
CN113626514A (zh) * 2021-10-12 2021-11-09 中国光大银行股份有限公司 一种自动化的数据加载方法及装置
CN114780497A (zh) * 2022-04-22 2022-07-22 湖南长银五八消费金融股份有限公司 批量文件处理方法、装置、计算机设备、介质和程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090204428A1 (en) * 2003-08-06 2009-08-13 Simon Barker Occupational health data system and method
US20140330705A1 (en) * 2013-05-01 2014-11-06 Bank Of America Corporation System and Method for Assembling Credit Data
CN104360992A (zh) * 2014-12-02 2015-02-18 福建工程学院 一种基于excel平台构建的web报表设计系统及实现方法
CN106528514A (zh) * 2016-10-31 2017-03-22 山东鲁能软件技术有限公司 一种报表生成系统及生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8527870B2 (en) * 2004-12-23 2013-09-03 Oracle International Corporation Flexible electronic document that receives data insertion from one or more data sources
CN106407170A (zh) * 2016-09-30 2017-02-15 上海冰穹网络科技有限公司 数据报表快速生成方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090204428A1 (en) * 2003-08-06 2009-08-13 Simon Barker Occupational health data system and method
US20140330705A1 (en) * 2013-05-01 2014-11-06 Bank Of America Corporation System and Method for Assembling Credit Data
CN104360992A (zh) * 2014-12-02 2015-02-18 福建工程学院 一种基于excel平台构建的web报表设计系统及实现方法
CN106528514A (zh) * 2016-10-31 2017-03-22 山东鲁能软件技术有限公司 一种报表生成系统及生成方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829653A (zh) * 2018-05-04 2018-11-16 山东中创软件工程股份有限公司 一种报表的生成方法、装置、设备及介质
CN109101519A (zh) * 2018-05-09 2018-12-28 广东辰宜信息科技有限公司 信息采集系统和异构信息融合系统
CN109101519B (zh) * 2018-05-09 2021-11-23 广东辰宜信息科技有限公司 信息采集系统和异构信息融合系统
CN108768791A (zh) * 2018-07-04 2018-11-06 山东汇贸电子口岸有限公司 一种信息采集配置管理系统及方法
CN108768791B (zh) * 2018-07-04 2021-08-10 上海浪潮云计算服务有限公司 一种信息采集配置管理系统及方法
CN112347749A (zh) * 2019-08-06 2021-02-09 南通深南电路有限公司 一种数据处理的方法、数据处理设备及数据处理系统
CN110502515B (zh) * 2019-08-15 2023-06-20 中国平安财产保险股份有限公司 数据采集方法、装置、设备及计算机可读存储介质
CN110502515A (zh) * 2019-08-15 2019-11-26 中国平安财产保险股份有限公司 数据采集方法、装置、设备及计算机可读存储介质
CN110619015A (zh) * 2019-09-20 2019-12-27 中国银行股份有限公司 支持大表的数据库系统的数据自动提取方法及系统
CN110866005A (zh) * 2019-09-26 2020-03-06 上海东方富联科技有限公司 一种物联网数据采集管理方法及系统、存储介质及终端
CN111008211B (zh) * 2019-12-06 2023-04-11 北京百分点科技集团股份有限公司 可视化接口的创建方法、装置、可读存储介质及电子设备
CN111008211A (zh) * 2019-12-06 2020-04-14 北京百分点信息科技有限公司 可视化接口的创建方法、装置、可读存储介质及电子设备
CN113010587A (zh) * 2019-12-19 2021-06-22 北京金山云网络技术有限公司 数据源配置方法、装置、终端、服务器及介质
CN113127547A (zh) * 2019-12-31 2021-07-16 新奥数能科技有限公司 一种数据处理方法、装置、智能终端及存储介质
CN111611444A (zh) * 2020-04-22 2020-09-01 国家卫星气象中心(国家空间天气监测预警中心) 一种极轨气象卫星通用故障诊断系统
CN111611204B (zh) * 2020-04-30 2024-03-01 中国舰船研究设计中心 一种分布式任务进度数据采集与分析方法
CN111611204A (zh) * 2020-04-30 2020-09-01 中国舰船研究设计中心 一种分布式任务进度数据采集与分析方法
CN111797178A (zh) * 2020-07-06 2020-10-20 国网安徽省电力有限公司 一种基于报表工具的数据采集与处理方法
CN112506937A (zh) * 2020-10-30 2021-03-16 福建亿能达信息技术股份有限公司 一种数据库模型的在线配置方法、装置、设备和介质
CN112559281A (zh) * 2020-12-07 2021-03-26 恩亿科(北京)数据科技有限公司 一种基于配置的告警路由系统和方法
CN113377851A (zh) * 2021-06-11 2021-09-10 上海妙一生物科技有限公司 一种数据处理系统及方法
CN113626514A (zh) * 2021-10-12 2021-11-09 中国光大银行股份有限公司 一种自动化的数据加载方法及装置
CN114780497A (zh) * 2022-04-22 2022-07-22 湖南长银五八消费金融股份有限公司 批量文件处理方法、装置、计算机设备、介质和程序产品

Also Published As

Publication number Publication date
WO2019095424A1 (zh) 2019-05-23

Similar Documents

Publication Publication Date Title
CN107958028A (zh) 数据采集的方法、装置、存储介质及终端
CN107688618B (zh) 数据对比方法、装置、计算机设备和存储介质
CN102214187B (zh) 复合事件处理方法及装置
CN111079387B (zh) 一种问卷自动化生成方法、装置、计算机设备及存储介质
CN104182225B (zh) 一种通用移动信息系统适配方法与装置
CN103455896B (zh) 基于物联网的无纸化装配质量控制方法
CN107590291A (zh) 一种图片的搜索方法、终端设备及存储介质
CN112232047A (zh) 一种多维数据采集和自动汇总方法、系统、设备和介质
CN110795697A (zh) 逻辑表达式的获取方法、装置、存储介质以及电子装置
CN112084270A (zh) 一种数据血缘处理方法、装置、存储介质及设备
CN109684332A (zh) 一种数据宽表生成方法、装置及系统
US20220052976A1 (en) Answer text processing methods and apparatuses, and key text determination methods
CN104598570A (zh) 资源的抓取方法及装置
CN111061733A (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
CN107766519B (zh) 一种可视化配置数据结构的方法
CN104199648B (zh) 一种通用移动信息系统适配方法与装置
CN113988795A (zh) 任务流处理方法、装置、设备、存储介质及程序产品
CN111125045B (zh) 一种轻量级etl处理平台
CN110457010B (zh) 基于协作平台批量更改任务单的方法及装置
CN110062112A (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN115905371A (zh) 数据趋势分析方法、装置、设备及计算机可读存储介质
CN105630997A (zh) 一种数据并行处理方法、装置及设备
CN115114297A (zh) 数据轻量存储及查找方法、装置、电子设备及存储介质
CN110990643B (zh) 一种基于GoJS的复杂任务可视化方法、终端设备及存储介质
CN112632266B (zh) 数据写入方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180424