CN114385638A - 数据抽取方法、系统、计算机设备及可读存储介质 - Google Patents

数据抽取方法、系统、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN114385638A
CN114385638A CN202210030999.9A CN202210030999A CN114385638A CN 114385638 A CN114385638 A CN 114385638A CN 202210030999 A CN202210030999 A CN 202210030999A CN 114385638 A CN114385638 A CN 114385638A
Authority
CN
China
Prior art keywords
data
user
kjb
file
extraction method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210030999.9A
Other languages
English (en)
Inventor
于思慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Financial Leasing Co Ltd
Original Assignee
Ping An International Financial Leasing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Financial Leasing Co Ltd filed Critical Ping An International Financial Leasing Co Ltd
Priority to CN202210030999.9A priority Critical patent/CN114385638A/zh
Publication of CN114385638A publication Critical patent/CN114385638A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/604—Tools and structures for managing or administering access control systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141—Access rights, e.g. capability lists, access control lists, access tables, access matrices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Bioethics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种数据抽取方法，所述抽取方法包括：接收SFTP服务器发送的租赁数据，所述租赁数据是通过kettle工具从存储系统抽取得到并存储在SFTP服务器的数据；所述kettle工具是通过预先存储在所述存储系统中的用户的权限配置得到的工具；将所述租赁数据存储在所述中转表中；将所述中转表插入到用户终端的目标表中，以在用户终端中展示数据；本发明实施例提供的数据抽取方法、系统、计算机设备及可读存储介质；权限认证以及通过SFTP服务器作为数据的中转站，提高了获取数据的安全性；微租赁服务系统每天会通过kettle工具从SFTP服务器中高效抽取租赁数据,避免了各个系统间的互相调用以及大数据的传输，加快了用户访问数据的速度。

Description

数据抽取方法、系统、计算机设备及可读存储介质
技术领域
本发明涉及数据处理领域，尤其涉及数据抽取方法、系统、计算机设备及可读存储介质。
背景技术
随着云存储、云计算的技术不断发展；数据抽取以及数据挖掘成为很多互联网行业的支柱，尤其在业务系统领域，如何保证用户能获取到最新的咨询信息，为用户推送更加准确的信息成为一个难题；现有技术通常是将本地系统中的数据抽取到云平台的数据库进行保存，业务系统通常是建立在大多数用户组成的关系型数据库中，用户需要将用户数据上传至云数据库，通过云平台共享数据库中的数据。
而在数据抽取的过程中，用户信息容易泄露，而且从本地数据库中抽取数据的速度较慢，如何保证数据抽取的安全性的同时提高数据抽取速度，成为待解决的问题。
发明内容
本发明的目的是提供一种数据抽取方法、系统、计算机设备及可读存储介质，用于解决以下问题：数据抽取速度慢。
本发明实施例的一个方面提供了一种数据抽取方法，用于租赁服务系统，所述租赁服务系统包括中转表，所述方法包括：
接收SFTP服务器发送的租赁数据，所述租赁数据是通过kettle工具从存储系统抽取得到并存储在SFTP服务器的数据；所述kettle工具是通过预先存储在所述存储系统中的用户的权限配置得到的工具；
将所述租赁数据存储在所述中转表中；
将所述中转表插入到用户终端的目标表中，以在用户终端中展示数据。
进一步的，接收SFTP服务器发送的租赁数据的步骤之后，还包括：
通过网关访问设备系统；
获取所述设备系统中的设备信息；
将所述设备信息插入至所述中转表中。
进一步的，获取所述设备系统中的设备信息的步骤，包括：
根据所述用户的权限，对所述设备系统中的所述设备信息进行抽取。
进一步的，接收SFTP服务器发送的租赁数据的步骤之前，还包括：
通过所述存储系统解析所述租赁数据；所述租赁数据包括用户信息以及合同信息；
根据所述租赁数据，通过所述存储系统对用户进行评分；
根据评分结果，在所述存储系统中的预设数据表中匹配用户的权限。
进一步的，根据所述租赁数据，通过所述存储系统对用户进行评分的步骤，包括：
根据以下公式对用户进行评分：
M＝σ1X+σ2Y
其中，所述M为用户的评分结果，X为用户信息的分值，Y为合同信息的分值，σ1为用户信息对应的权重，σ2为合同信息对应的权重。
进一步的，接收SFTP服务器发送的租赁数据的步骤之后，还包括：
将从存储系统抽取得到并存储在SFTP服务器的操作作为第一执行脚本，根据所述第一执行脚本创建第一kjb文件；
将接收SFTP服务器发送的租赁数据的操作作为第二执行脚本，根据所述第二执行脚本创建第二kjb文件；其中，所述第一kjb文件以及所述第二kjb文件为所述kettle工具保存文件的格式类型。
进一步的，根据所述第二执行脚本创建第二kjb文件的步骤之后，包括：
定时依次执行所述第一kjb文件以及第二kjb文件，当所述第一kjb文件以及所述第二kjb文件中的任意一个文件执行失败时，停止执行。
本发明实施例的一个方面又提供了一种数据抽取系统，所述数据抽取系统包括：
抽取模块，用于接收SFTP服务器发送的租赁数据，所述租赁数据是通过kettle工具从存储系统抽取得到并存储在SFTP服务器的数据；所述kettle工具是通过预先存储在所述存储系统中的用户的权限配置得到的工具。
展示模块，用于将所述租赁数据存储在中转表中；将所述中转表插入到用户终端的目标表中，以在用户终端中展示数据。
本发明实施例的一个方面又提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述数据抽取方法的步骤。
本发明实施例的一个方面又提供了一种计算机可读存储介质，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述数据抽取方法的步骤。
本发明实施例提供的数据抽取方法、系统、计算机设备及可读存储介质；首先获取用户权限，根据用户权限配置kettle工具，然后通过kettle工具将租赁数据抽取至SFTP服务器中；接收数据之前需要权限认证以及将SFTP服务器作为数据抽取的中转站，提高了数据抽取的安全性；微租赁服务系统每天会通过kettle工具从SFTP服务器中高效抽取租赁数据,避免了各个系统间的互相调用以及大数据的传输，同时租赁服务系统中已经存有用户以及设备的相关信息，此时用户通过登陆app后，就能查询到租赁数据以及设备信息，加快了用户访问数据的速度。
附图说明
图1示意性示出了根据本发明实施例一的数据抽取方法的流程图；
图2示意性示出了图1中的步骤S100的子步骤图；
图3示意性示出了根据本申请实施例二的数据抽取系统的框图；及
图4示意性示出了根据本申请实施例三的适于实现数据抽取方法的计算机设备的硬件架构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明实施例中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
在本发明的描述中，需要理解的是，步骤前的数字标号并不标识执行步骤的前后顺序，仅用于方便描述本发明及区别每一步骤，因此不能理解为对本发明的限制。
本申请实施例主要包括三个系统以及一个服务器，其中三个系统包括存储系统、租赁服务系统、以及设备系统，一个服务器包括SFTP服务器。
存储系统以及租赁服务系统，由一个或多个计算机设备组成。所述一个或多个计算机设备可以包括虚拟化计算实例。计算机设备可以基于定义用于仿真的特定软件(例如，操作系统，专用应用程序，服务器)的虚拟映像和/或其他数据来加载虚拟机。随着对不同类型的处理服务的需求改变，可以在所述一个或多个计算机设备上加载和/或终止不同的虚拟机。
网关可以包括各种网络设备，例如路由器，交换机，多路复用器，集线器，调制解调器，网桥，中继器，防火墙，代理设备和/或等等。网关可以包括物理链路，例如同轴电缆链路，双绞线电缆链路，光纤链路，它们的组合和/或类似物。网关可以包括无线链路，例如蜂窝链路，卫星链路，Wi-Fi链路和/或类似物。
用户终端可以被配置为访问软件控制中心的内容和服务。用户终端可以包括任何类型的计算机设备，如终端类设备：移动设备，平板设备，膝上型计算机，智能设备(例如，智能服饰，智能手表，智能扬声器，智能眼镜)，虚拟现实耳机，游戏设备，机顶盒，数字流设备，机器人，车载终端，智能电视，电视盒，电子书阅读器，MP3(运动图像专家组音频层III)播放器，MP4(运动图像专家组音频层IV)播放器等。用户终端亦可以包括非终端设备，如网关、交换机等。
用户终端可以配置有关联账户或账号信息，以方便租赁服务系统的控制和管理。
下面以租赁服务系统为执行主体的角度，对数据抽取方法的流程进行阐述；
实施例一
图1示意性示出了根据本发明实施例一的数据抽取方法的流程图。
如图1所示，该数据抽取方法可以包括步骤S100～S102，其中：
步骤S100，接收SFTP服务器发送的租赁数据，所述租赁数据是通过kettle工具从存储系统抽取得到并存储在SFTP服务器的数据；所述kettle工具是通过预先存储在所述存储系统中的用户的权限配置得到的工具。
Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小微机环境。它是一种高效率的、可靠性好的、适应高吞吐量的数据库方案。
作为优选方案，本实施例所述的存储系统内设置有Oracle数据库，所述存储系统每天会将业务系统内的租赁数据导入到Oracle数据库中，Oracle数据库内设置有数据表，数据表中记录有各个评分等级对应的权限。
为了进一步说明获取用户权限的步骤，所述接收SFTP服务器发送的租赁数据的步骤之前，如图2所示，包括：
步骤S100-1：通过所述存储系统解析所述租赁数据；所述租赁数据包括用户信息以及合同信息；
步骤S100-2：根据所述租赁数据，通过所述存储系统对用户进行评分；
具体地，所述用户信息包括用户的名称、账号、年龄、类别；其中类别分为个体或者公司等；合同信息包括用户历史签单的金额，以及合同的逾期情况，签单的合同数量等，系统针对用户信息以及合同信息对用户进行评分，具体地，提取出对购买能力影响因素较大的关键信息，例如用户信息中的年龄，随着年龄的增长，购买能力呈现上升趋势，所以系统可针对不同年龄段的人群，对用户信息中的年龄赋予不同的权重值，同时可针对用户的类别，例如公司的购买能力一般情况下要高于个人的购买能力，所以针对公司，系统会赋予更高的权重值。同理可得，例如在合同信息中，影响购买能力的因素包括合同的签单金额、合同中的逾期情况以及历史签单的金额，逾期次数越多，证明信用越低，给定的权重值也越低；签单的金额越大，则代表购买能力越强；根据以上影响因素，系统自动对用户信息以及合同信息中的关键信息进行打分，从而给定用户信息的分值以及合同信息的分值。
然后根据以下的公式对用户进行打分：
M＝σ1X+σ2Y
其中，所述M为用户的评分结果，X为用户信息的分值，Y为合同信息的分值，σ1为用户信息对应的权重，σ2为合同信息对应的权重，其中σ1+σ2＝1。
步骤S100-3：根据评分结果，在所述存储系统中的预设数据表中匹配用户的权限。
其中，所述预设数据表如表一所示：
Figure BDA0003466437980000071
Figure BDA0003466437980000081
表一：预设数据表
首先通过以上公式计算出用户的评分，然后根据用户的评分，在上述数据表中配置用户的权限；然后通过用户的权限，给用户推送对应价格的设备，通过以上权限的配置，实现了信息的智能化推荐，使得信息推送更加精准。
优选地，在获取到用户的权限后，根据所述用户的权限，配置kettle工具。
具体地，ETL(Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)，对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。kettle支持图形化的GUI设计界面，然后可以以工作流的形式流转，在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现，其中最主要的我们通过熟练的应用它，减少了非常多的研发工作量，提高了我们的工作效率。
kettle工具是一款国外开源的ETL工具，纯Java编写，可以在Window、Linux、Unix上运行，可以管理来自于不同数据库中的数据。
具体地，根据用户的评分，对用户配置不同的权限，从而限定了设备的价格，这使得kettle工具可根据设备的价格对设备信息进行抽取，所以不同的用户权限，会被配置为不同执行不同任务的kettle工具对数据进行选择性抽取。
租赁数据是通过kettle工具从存储系统中抽取得到并存储在SFTP服务器中的数据；具体地，SFTP是Secure File Transfer Protocol的缩写，安全文件传送协议。可以为传输文件提供一种安全的网络加密方法。SFTP与FTP有着几乎一样的语法和功能。SFTP为SSH的其中一部分，是一种传输档案至Blogger伺服器的安全方式。
具体地，经过SFTP服务器抽取的数据，不依赖存储系统以及租赁服务系统的表结构，在通过kettle工具抽取数据后，输出的数据可重组。用户数据包括客户信息以及合同信息最终均会保存在存储系统中，存储系统每天会将数据文件导入到SFTP服务器上，而上传至SFTP服务器的数据，其他系统在任何时间内均可获取到，微租赁服务系统每天也会通过ETL中的kettle工具高效抽取实际使用数据到系统数据库中,避免了各个系统间的互相调用以及大数据的传输，加快了客户访问数据，相关系统均部署在内网中，实现数据的安全性，同时微租赁服务系统中存有租赁数据等相关信息，此时通过用户终端登陆app，就能查询到用户信息、合同信息。
步骤S101：将所述租赁数据存储在所述中转表中。
具体地，所述中转表为临时存储数据的数据表，可供用户终端随时抽取，中转表中的数据随时可以更新和重组，通过新的数据替换原数据，保证了数据的及时性和有效性。
优选地，接收SFTP服务器发送的租赁数据的步骤之后，还包括：
步骤S100A：通过网关访问设备系统；
步骤S100B：获取所述设备系统中的设备信息；
步骤S100C：将所述设备信息插入至所述中转表中。
具体地，在用户使用供应商等相关功能时，微租赁服务系统通过中间子系统channel网关访问设备系统，设备系统可以包括若干个，其中每种类型的设备对应一套设备系统，每套设备系统中均包括有供应商以及相应的设备信息，设备信息可以包括设备的价格、型号、功能介绍等，通过定时更新设备系统，每个设备系统对应一种类型的设备以及供应商的信息，通过实时获取供应商及其设备的型号以及价格信息等，最后在用户的app页面进行展示设备信息。
进一步的，获取所述设备系统中的设备信息的步骤，包括：
步骤S100B-1：根据所述用户的权限，对所述设备系统中的所述设备信息进行抽取。
具体地，可通过步骤S100-3对用户进行评分，根据预设数据表获取用户的权限，根据用户的权限对设备信息进行抽取，从而可得到对应价格区间的设备，然后将对应价格的设备信息插入至所述租赁服务系统中。
步骤S102：将所述中转表插入到用户终端的目标表中，以在用户终端中展示数据。
进一步的，接收SFTP服务器发送的租赁数据的步骤之后，还包括：
步骤S100D：将从存储系统抽取得到并存储在SFTP服务器的操作作为第一执行脚本，根据所述第一执行脚本创建第一kjb文件；
步骤S100E：将接收SFTP服务器发送的租赁数据的操作作为第二执行脚本，根据所述第二执行脚本创建第二kjb文件；其中，所述第一kjb文件以及所述第二kjb文件为所述kettle工具保存文件的格式类型。
进一步的，根据所述第二执行脚本创建第二kjb文件的步骤之后，包括：
步骤S100F:定时依次执行所述第一kjb文件以及第二kjb文件，当所述第一kjb文件以及所述第二kjb文件中的任意一个文件执行失败时，停止执行。
具体地，ktr以及kjb是kettel工具保存文件的两种格式类型；在每次kettel工具执行一个任务时均会构建一个kjb以及ktr文件，使得开发文件不需要每次都输入代码，每个kjb文件包或ktr文件包均可表示一次操作，下次使用时通过kettel工具的可视化界面，通过直接拖拉kjb文件包或ktr文件包，重新排列控件排列的顺序，可通过改变kjb文件包或ktr文件包的执行位置从而改变操作的执行顺序。
实施例二
图3示意性示出了根据本发明的数据抽取系统的框图，该抽取系统可以被分割成程序模块，一个或者多个程序模块被存储于存储介质中，并由处理器所执行，以完成本发明实施例。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本实施例中各程序模块的功能。
如图3所示，该抽取系统130可以包括抽取模块131、展示模块132。其中：
抽取模块131，用于接收SFTP服务器发送的租赁数据，所述租赁数据是通过kettle工具从存储系统抽取得到并存储在SFTP服务器的数据；所述kettle工具是通过预先存储在所述存储系统中的用户的权限配置得到的工具；
展示模块132，用于将所述租赁数据存储在中转表中；将所述中转表插入到用户终端的目标表中，以在用户终端中展示数据。
所述抽取模块131还用于通过网关访问设备系统；获取所述设备系统中的设备信息；将所述设备信息插入至所述中转表中。
所述抽取模块131还用于根据所述用户的权限，对所述设备系统中的所述设备信息进行抽取。
所述抽取模块131还用于通过所述存储系统解析所述租赁数据；所述租赁数据包括用户信息以及合同信息；根据所述租赁数据，通过所述存储系统对用户进行评分；根据评分结果，在所述存储系统中的预设数据表中匹配用户的权限。
所述抽取模块131还用于根据以下公式对用户进行评分：
M＝σ1X+σ2Y
其中，所述M为用户的评分结果，X为用户信息的分值，Y为合同信息的分值，σ1为用户信息对应的权重，σ2为合同信息对应的权重。
所述抽取模块131还用于将从存储系统抽取得到并存储在SFTP服务器的操作作为第一执行脚本，根据所述第一执行脚本创建第一kjb文件；将接收SFTP服务器发送的租赁数据的操作作为第二执行脚本，根据所述第二执行脚本创建第二kjb文件；其中，所述第一kjb文件以及所述第二kjb文件为所述kettle工具保存文件的格式类型。
所述抽取模块131还用于定时依次执行所述第一kjb文件以及第二kjb文件，当所述第一kjb文件以及所述第二kjb文件中的任意一个文件执行失败时，停止执行。
实施例三
图4示意性示出了根据本发明实施例三的适于实现数据抽取方法的计算机设备6的硬件架构示意图。本实施例中，计算机设备6是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)、网关等。如图4所示，计算机设备6至少包括但不限于：可通过系统总线相互通信链接存储器141、处理器142、网络接口143。其中：
存储器141至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器141可以是计算机设备6的内部存储模块，例如该计算机设备6的硬盘或内存。在另一些实施例中，存储器141也可以是计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(SmartMedia Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，存储器141还可以既包括计算机设备6的内部存储模块也包括其外部存储设备。本实施例中，存储器141通常用于存储安装于计算机设备6的操作系统和各类应用软件，例如数据抽取方法的程序代码等。此外，存储器141还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器142在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器142通常用于控制计算机设备6的总体操作，例如执行与计算机设备6进行数据交互或者通信相关的控制和处理等。本实施例中，处理器142用于运行存储器141中存储的程序代码或者处理数据。
网络接口143可包括无线网络接口或有线网络接口，该网络接口143通常用于在计算机设备6与其他计算机设备之间建立通信链接。例如，网络接口143用于通过网络将计算机设备6与外部终端相连，在计算机设备6与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(GlobalSystem of Mobile communication，简称为GSM)、宽带码分多址(Wideband Code DivisionMultiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图4仅示出了具有部件141-143的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器141中的数据抽取方法还可以被分割为一个或者多个程序模块，并由处理器(本实施例为处理器142)所执行，以完成本发明实施例。
实施例四
本发明还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例中的数据抽取方法的步骤。
本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中异常账号的识别方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据抽取方法，用于租赁服务系统，所述租赁服务系统包括中转表，其特征在于，所述方法包括：
接收SFTP服务器发送的租赁数据，所述租赁数据是通过kettle工具从存储系统抽取得到并存储在SFTP服务器的数据；所述kettle工具是通过预先存储在所述存储系统中的用户的权限配置得到的工具；
将所述租赁数据存储在所述中转表中；
将所述中转表插入到用户终端的目标表中，以在用户终端中展示数据。
2.根据权利要求1所述的数据抽取方法，其特征在于，接收SFTP服务器发送的租赁数据的步骤之后，还包括：
通过网关访问设备系统；
获取所述设备系统中的设备信息；
将所述设备信息插入至所述中转表中。
3.根据权利要求2所述的数据抽取方法，其特征在于，获取所述设备系统中的设备信息的步骤，包括：
根据所述用户的权限，对所述设备系统中的所述设备信息进行抽取。
4.根据权利要求1述的数据抽取方法，其特征在于，接收SFTP服务器发送的租赁数据的步骤之前，还包括：
通过所述存储系统解析所述租赁数据；所述租赁数据包括用户信息以及合同信息；
根据所述租赁数据，通过所述存储系统对用户进行评分；
根据评分结果，在所述存储系统中的预设数据表中匹配用户的权限。
5.根据权利要求4所述的数据抽取方法，其特征在于，根据所述租赁数据，通过所述存储系统对用户进行评分的步骤，包括：
根据以下公式对用户进行评分：
M＝σ1X+σ2Y
其中，所述M为用户的评分结果，X为用户信息的分值，Y为合同信息的分值，σ1为用户信息对应的权重，σ2为合同信息对应的权重。
6.根据权利要求1所述的数据抽取方法，其特征在于，接收SFTP服务器发送的租赁数据的步骤之后，还包括：
将从存储系统抽取得到并存储在SFTP服务器的操作作为第一执行脚本，根据所述第一执行脚本创建第一kjb文件；
将接收SFTP服务器发送的租赁数据的操作作为第二执行脚本，根据所述第二执行脚本创建第二kjb文件；其中，所述第一kjb文件以及所述第二kjb文件为所述kettle工具保存文件的格式类型。
7.根据权利要求6所述的数据抽取方法，其特征在于，根据所述第二执行脚本创建第二kjb文件的步骤之后，包括：
定时依次执行所述第一kjb文件以及第二kjb文件，当所述第一kjb文件以及所述第二kjb文件中的任意一个文件执行失败时，停止执行。
8.一种数据抽取系统，其特征在于，所述数据抽取系统包括：
抽取模块，用于接收SFTP服务器发送的租赁数据，所述租赁数据是通过kettle工具从存储系统抽取得到并存储在SFTP服务器的数据；所述kettle工具是通过预先存储在所述存储系统中的用户的权限配置得到的工具；
展示模块，用于将所述租赁数据存储在中转表中；将所述中转表插入到用户终端的目标表中，以在用户终端中展示数据。
9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时用于实现权利要求1～7中任一项所述的数据抽取方法的步骤。
10.一种计算机可读存储介质，其特征在于，其内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行权利要求1～7中任一项所述的数据抽取方法的步骤。
CN202210030999.9A 2022-01-12 2022-01-12 数据抽取方法、系统、计算机设备及可读存储介质 Pending CN114385638A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210030999.9A CN114385638A (zh) 2022-01-12 2022-01-12 数据抽取方法、系统、计算机设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210030999.9A CN114385638A (zh) 2022-01-12 2022-01-12 数据抽取方法、系统、计算机设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN114385638A true CN114385638A (zh) 2022-04-22

Family

ID=81202796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210030999.9A Pending CN114385638A (zh) 2022-01-12 2022-01-12 数据抽取方法、系统、计算机设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114385638A (zh)

Similar Documents

Publication Publication Date Title
CN106980669B (zh) 一种数据的存储、获取方法及装置
US20120072597A1 (en) Using templates to configure cloud resources
CN104156832A (zh) 系统间数据核对方法及装置
CN110764798A (zh) 一种微码升级方法、装置、计算机设备及存储介质
CN104516730A (zh) 一种数据处理方法和装置
CN110932918B (zh) 日志数据采集方法、装置及存储介质
EP3321877A1 (en) Automated process control hardware engineering using schema-represented requirements
CN110688828A (zh) 文件处理方法及装置、文件处理系统、计算机设备
CN106951536A (zh) 数据转化方法及系统
CN107133233B (zh) 一种配置数据查询的处理方法及装置
CN107861933A (zh) 生成运维报表的方法和装置
CN110263581A (zh) 合同签署方法、系统、终端设备及存储介质
CN111178849A (zh) 线性流程引擎实现方法、装置、设备及存储介质
CN110738038A (zh) 合同文本的生成方法、装置、设备及计算机可读存储介质
CN112631884A (zh) 基于数据同步的压测方法、装置、计算机设备及存储介质
CN112181678A (zh) 业务数据的处理方法、装置和系统、存储介质、电子装置
CN110502482A (zh) 用户操作界面配置方法、系统及数据操作方法
CN110392053A (zh) 容器访问控制方法、装置、客户端及服务器
CN113010542A (zh) 业务数据处理方法、装置、计算机设备及存储介质
WO2022156087A1 (zh) 数据血缘关系建立方法、装置、计算机设备及存储介质
CN107526838A (zh) 数据库集群扩容的方法和装置
CN110765610A (zh) Pdm集成方法、装置、计算机设备及存储介质
CN113056761A (zh) 支付平台管理方法、设备、支付平台以及计算机存储介质
CN110457318A (zh) 区块链中数据字段的更新方法、装置、介质、电子设备
CN114385638A (zh) 数据抽取方法、系统、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination