CN110347731A - 获取数据的方法和系统 - Google Patents

获取数据的方法和系统 Download PDF

Info

Publication number
CN110347731A
CN110347731A CN201810203829.XA CN201810203829A CN110347731A CN 110347731 A CN110347731 A CN 110347731A CN 201810203829 A CN201810203829 A CN 201810203829A CN 110347731 A CN110347731 A CN 110347731A
Authority
CN
China
Prior art keywords
data
application
cloud service
output
output data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810203829.XA
Other languages
English (en)
Inventor
付小龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810203829.XA priority Critical patent/CN110347731A/zh
Publication of CN110347731A publication Critical patent/CN110347731A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种获取数据的方法和系统，涉及计算机技术领域。其中，该方法包括：第一应用将产出数据上传至云服务；第二应用向云服务发送针对所述产出数据的数据抓取请求，然后，第二应用接收所述云服务返回的与所述数据抓取请求对应的IO数据流，并将所述IO数据流转换为实体数据。通过以上步骤，能够解决第二应用由于网络访问权限无法获取第一应用的产出数据的问题。与现有技术相比，本发明降低了第一应用的部署和运维成本，提高了数据获取效率和数据安全性。

Description

获取数据的方法和系统
技术领域
本发明涉及计算机技术领域，尤其涉及一种获取数据的方法和系统。
背景技术
商品仓库每天可产生大量的商品出入库信息。这些信息隐藏着大量的可挖掘数据，比如商品的出库率、出库时间以及储位分布等。经过数据集市的数据采集和机器学习应用服务的数据挖掘，产出了大量的有效数据，比如商品编码、日平均出库量、点击率、点击量、库存量、关联商品编码以及关联度等。
在现有技术中，存在如下需求：一些库房应用服务(比如库房智能排产应用)需要获取和使用机器学习应用的产出数据。然而，由于网络访问权限问题，不仅库房应用服务不能与机器学习应用服务相互访问，而且不同库房之间的应用也不能相互访问。
针对这一问题，现有的解决方案如下：在每个库房分别部署相应的机器学习应用服务，并且，在机器学习应用服务中开发数据传输模块，并将产出数据存储在所属库房的数据库中；其他库房应用服务可通过HTTP传输接口实时向同一库房的机器学习应用服务请求数据，然后将数据存储至关系型数据库。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
第一、在每个库存分别部署相应的机器学习应用服务，会产生大量的部署成本和运维成本；第二、机器学习应用服务的产出数据需要根据不同的库房分发到各个库房的数据库内，传输成本巨大、时效性低；第三、库房应用服务(比如库房智能排产应用)只能获取同库房机器学习应用服务的产出数据，无法获取其他库房的产出数据，数据的共享性和数据的利用率过低。
发明内容
有鉴于此，本发明提供一种获取数据的方法和系统，能够解决第二应用由于网络访问权限无法获取第一应用的产出数据的问题。与现有技术相比，本发明降低了第一应用的部署和运维成本，提高了数据获取效率和数据安全性。
为实现上述目的，根据本发明的一个方面，提供了一种获取数据的方法。
本发明的获取数据的方法包括：第一应用将产出数据上传至云服务；第二应用向云服务发送针对所述产出数据的数据抓取请求，然后，第二应用接收所述云服务返回的与所述数据抓取请求对应的IO数据流，并将所述IO数据流转换为实体数据。
可选地，所述方法还包括：在所述将所述IO数据流转换为实体数据的步骤之后，第二应用将所述实体数据存储至Redis数据库和/或内存。
可选地，所述第一应用将产出数据上传至云服务的步骤包括：所述第一应用根据访问账号和访问密钥调用云服务的文件上传接口，以将产出数据上传至云服务的存储空间。
可选地，所述第二应用向云服务发送针对所述产出数据的数据抓取请求的步骤包括：第二应用根据配置文件调用云服务的文件下载接口，以接口形式发送针对所述产出数据的数据抓取请求；其中，所述配置文件包括访问账号、访问密钥和文件名。
为实现上述目的，根据本发明的另一方面，提供了一种获取数据的系统。
本发明的获取数据的系统包括：第一应用、第二应用和云服务；第一应用，用于将产出数据以文件形式上传至云服务；第二应用，用于向云服务发送针对所述产出数据的数据抓取请求，然后，第二应用接收所述云服务返回的与所述数据抓取请求对应的IO数据流，并将所述IO数据流转换为实体数据。
可选地，在将所述IO数据流转换为实体数据之后，第二应用还用于将所述实体数据存储至Redis数据库和/或内存。
可选地，所述第一应用将产出数据上传至云服务包括：所述第一应用根据访问账号和访问密钥调用云服务的文件上传接口，以将产出数据上传至云服务的存储空间。
可选地，所述第二应用向云服务发送针对所述产出数据的数据抓取请求包括：第二应用根据配置文件调用云服务的文件下载接口，以接口形式发送针对所述产出数据的数据抓取请求；其中，所述配置文件包括访问账号、访问密钥和文件名。
为实现上述目的，根据本发明的再一个方面，提供了一种电子设备。
本发明的电子设备，包括：一个或多个处理器；以及，存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明的获取数据的方法。
为实现上述目的，根据本发明的又一个方面，提供了一种计算机可读介质。
本发明的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明的获取数据的方法。
上述发明中的一个实施例具有如下优点或有益效果：通过第一应用将产出数据上传至云服务，通过第二应用向云服务发送针对所述产出数据的数据抓取请求、接收所述云服务返回的与所述数据抓取请求对应的IO数据流、并将所述IO数据流转换为实体数据等步骤，能够解决第二应用由于网络访问权限无法获取第一应用的产出数据的问题。与现有技术相比，本发明通过以上步骤降低了多应用服务部署和维护的成本，提高了数据获取效率和数据安全性。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明一个实施例的获取数据的方法的主要步骤示意图；
图2是根据本发明另一实施例的获取数据的方法的主要步骤示意图；
图3是根据本发明一个实施例的获取数据的系统的结构示意图；
图4是根据本发明另一实施例的获取数据的系统的结构示意图；
图5是本发明实施例可以应用于其中的示例性系统架构图；
图6是适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要指出的是，在不冲突的情况下，本发明中的实施例以及实施例中的特征可以相互组合。
在详细介绍本发明实施例之前，首先对本发明实施例涉及的部分技术术语进行说明。
Redis：是一个开源的日志型、Key-Value数据库，其使用ANSI C语言编写，支持网络，可基于内存亦可持久化，并提供多种语言的API。
IO数据流：或称为IO流，其可理解为“用来进行输入输出操作的流”。
图1是根据本发明一个实施例的获取数据的方法的主要步骤示意图。如图1所示，本发明实施例的获取数据的方法包括：
步骤S101、第一应用将产出数据上传至云服务。
步骤S102、第二应用向云服务发送针对所述产出数据的数据抓取请求。
步骤S103、第二应用接收所述云服务返回的与所述数据抓取请求对应的IO数据流，并将所述IO数据流转换为实体数据。
示例性的，所述实体数据可以为Java实体对象。
在本发明实施例中，通过以上步骤能够解决第二应用由于网络访问权限无法获取第一应用的产出数据的问题。与现有技术相比，本发明通过以上步骤降低了多应用服务部署和维护的成本，提高了数据获取效率和数据安全性。
图2是根据本发明另一实施例的获取数据的方法的主要步骤示意图。如图2所示，本发明实施例的获取数据的方法包括：
步骤S201、在云服务上进行注册，以获得访问账号、访问密钥和存储空间。
具体地，该步骤可包括：在云服务(比如jss公有云平台)上新建应用，生成访问账号(accessKey)和访问密钥(secretKey)；新建存储空间(bucket)。
步骤S202、第一应用根据所述访问账号和所述访问密钥调用云服务的文件上传接口，以将产出数据上传至所述存储空间。
示例性的，第一应用可以为机器学习应用。在该示例中，所述产出数据可以为商品数据。具体实施时，机器学习应用可以在经过数据采集、计算之后，产出各库房的商品基本信息、商品关联关系、商品出入库信息等数据。在上传产出数据时，机器学习应用可以采用csv、txt、xml等多种文件格式，并根据需求生成不同的文件名。例如，对于商品基本信息，可根据“s_goods_baseinfo_机构_配送中心_库房”的规则生成文件名；对于商品关联关系，可根据“s_goods_relation_机构_配送中心_库房”的规则生成文件名。
步骤S203、第二应用根据配置文件调用云服务的文件下载接口，以接口形式发送针对所述产出数据的数据抓取请求。
其中，所述配置文件包括：访问账号、访问密钥、文件名。在具体实施时，第二应用可预先将步骤S201得到的访问账号、访问密钥以及需要抓取的文件的文件名写入配置文件，然后根据所述配置文件抓取所需文件。
在本发明实施例中，第二应用通过根据包括文件名的配置文件抓取数据，能够精准地抓取所需数据，减少由于抓取不必要的数据所产生的资源浪费。
步骤S204、第二应用接收所述云服务返回的与所述数据抓取请求对应的IO数据流。
在本发明实施例中，通过以文件上传、下载方式替代传统接口的明文数据传输方式，提高了数据传输的效率和数据安全性。
步骤S205、第二应用将所述IO数据流转换为实体数据。
其中，所述实体数据可以为Java实体对象。示例性的，第二应用可以为库房智能排产应用。在该示例中，库房智能排产应用对所述IO数据流进行解析、分割、排序、计算等处理，以得到实体数据。例如，当产出数据包括商品编码数据时，可根据商品编码除10取余以及特殊字符单独划分的方式将解析后的数据划分成11个集合。比如，商品编码为1234398060006405，除10取余的结果为5，则可将该商品编码的数据划分到余数5对应的集合中；商品编码为EMG4398060006405，其含有字母，则可将该商品编码的数据划分到特殊字符对应的集合中。
步骤S206、第二应用将所述实体数据存储至Redis数据库。
进一步，第二应用还可将所述实体数据存储至内存中。在本发明实施例中，通过选用非关系型数据库Redis数据库，而不选用常规关系型数据库，可以大量减少第二应用查询数据库的IO交互，提高查询效率。
在本发明实施例中，通过以上步骤能够解决第二应用由于网络访问权限无法获取第一应用的产出数据的问题。与现有技术相比，本发明通过以上步骤降低了多应用服务部署和维护的成本，提高了数据获取效率和数据安全性。
图3是根据本发明一个实施例的获取数据的系统的结构示意图。如图3所示，本发明实施例的获取数据的系统300包括：第一应用301、云服务302、第二应用303。
第一应用301，用于将产出数据上传至云服务302。
示例性的，第一应用301将产出数据上传至云服务302包括：第一应用301根据访问账号和访问密钥调用云服务302的文件上传接口，以将产出数据上传至云服务的存储空间。
第二应用303，用于向云服务302发送针对所述产出数据的数据抓取请求。
示例性的，第二应用303向云服务302发送针对所述产出数据的数据抓取请求包括：第二应用303根据配置文件调用云服务的文件下载接口，以接口形式发送针对所述产出数据的数据抓取请求。其中，所述配置文件包括：访问账号、访问密钥、文件名。
在具体实施时，第二应用可预先将访问账号、访问密钥以及需要抓取的文件的文件名写入配置文件，然后根据所述配置文件抓取所需文件。在本发明实施例中，第二应用303通过根据包括文件名的配置文件抓取数据，能够精准地抓取所需数据，减少由于抓取不必要的数据所产生的资源浪费。
第二应用303，还用于接收云服务302返回的与所述数据抓取请求对应的IO数据流。
在本发明实施例中，通过以文件上传、下载方式替代传统接口的明文数据传输方式，提高了数据传输的效率和数据安全性。
第二应用303，还用于将所述IO数据流转换为实体数据，并将所述实体数据存储至Redis数据库。
其中，所述实体数据可以为Java实体对象。进一步，第二应用303还可将所述实体数据存储至内存中。在本发明实施例中，通过选用非关系型数据库Redis，而不选用常规关系型数据库，可以大量减少第二应用303查询数据库时的IO交互，提高查询效率。
本发明实施例提供的获取数据的系统能够解决第二应用由于网络访问权限无法获取第一应用的产出数据的问题。与现有技术相比，本发明实施例的系统降低了多应用服务部署和维护的成本，提高了数据获取效率和数据安全性。
图4是根据本发明另一实施例的获取数据的系统的结构示意图。在图4所示实施例中，第一应用具体为机器学习应用，第二应用具体为库房智能排产应用。如图4所示，本发明实施例的获取数据的系统400包括：机器学习应用401、公有云服务402、多个库房智能排产应用403。
机器学习应用401，用于根据访问账号和访问密钥调用云服务的文件上传接口，以将产出数据上传至公有云服务402的存储空间。
示例性的，所述产出数据可以为商品数据。具体实施时，机器学习应用401可以在经过数据采集、计算之后，产出各库房的商品基本信息、商品关联关系、商品出入库信息等商品数据。在上传产出数据时，机器学习应用401可以采用csv、txt、xml等多种文件格式，并根据需求生成不同的文件名。例如，对于商品基本信息，机器学习应用401可根据“s_goods_baseinfo_机构_配送中心_库房”的规则生成文件名；对于商品关联关系，可根据“s_goods_relation_机构_配送中心_库房”的规则生成文件名。
公有云服务402，用于提供访问账号、访问密钥以及数据的存储空间。
库房智能排产应用403，用于根据配置文件调用公有云服务402的文件下载接口，以接口形式发送针对所述产出数据的数据抓取请求。其中，所述配置文件包括：访问账号、访问密钥、文件名。
库房智能排产应用403，还用于接收公有云服务402返回的与所述数据抓取请求对应的IO数据流。
库房智能排产应用403，还用于将所述IO数据流转换为实体数据，并将所述实体数据存储至Redis数据库和内存中。
具体来说，库房智能排产应用403对所述IO数据流进行解析、分割、排序、计算等处理，以得到实体数据。其中，所述实体数据可以为Java实体对象。
例如，当产出数据包括商品编码数据时，库房智能排产应用403可根据商品编码除10取余以及特殊字符单独划分的方式将解析后的数据划分成11个集合。比如，商品编码为1234398060006405，除10取余的结果为5，则库房智能排产应用403可将该商品编码的数据划分到余数5对应的集合中；商品编码为EMG4398060006405，其含有字母，则库房智能排产应用403可将该商品编码的数据划分到特殊字符对应的集合中。然后，库房智能排产应用403以余数0至9、以及特殊字符构建索引列表，将11个集合中的数据写入Redis数据库和内存中。
本发明实施例提供的获取数据的系统，能够解决库房智能排产应用由于网络访问权限无法获取机器学习应用的产出数据的问题。与现有技术相比，本发明实施例的系统降低了机器学习应用的多服务部署和维护的成本，提高了数据获取效率和数据安全性。
图5示出了可以应用本发明实施例的获取数据的方法或获取数据的系统的示例性系统架构500。
如图5所示，系统架构500可以包括第一应用服务器501、第二应用服务器502，网络504和云服务器503。网络504用以在第一应用服务器501、第二应用服务器502和云服务器503之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
第一应用服务器501可以是部署有第一应用(比如机器学习应用)的服务器，其可以通过网络504向云服务器503上传数据。
第二应用服务器502可以是部署有第二应用(比如库房智能排产应用)的服务器。由于网络访问权限的限制，第二应用服务器502无法访问第一应用服务器501。第二应用服务器502可通过网络504从云服务503上下载数据。
应该理解，图5中的第一应用服务器、网络、第二应用服务器和云服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的第一应用服务器、网络、第二应用服务器和云服务器。
图6示出了适于用来实现本发明实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行以下流程：第一应用将产出数据上传至云服务；第二应用向云服务发送针对所述产出数据的数据抓取请求，然后，第二应用接收所述云服务返回的与所述数据抓取请求对应的IO数据流，并将所述IO数据流转换为实体数据。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种获取数据的方法，其特征在于，所述方法包括：
第一应用将产出数据上传至云服务；
第二应用向云服务发送针对所述产出数据的数据抓取请求，然后，第二应用接收所述云服务返回的与所述数据抓取请求对应的IO数据流，并将所述IO数据流转换为实体数据。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述将所述IO数据流转换为实体数据的步骤之后，第二应用将所述实体数据存储至Redis数据库和/或内存。
3.根据权利要求1所述的方法，其特征在于，所述第一应用将产出数据上传至云服务的步骤包括：
所述第一应用根据访问账号和访问密钥调用云服务的文件上传接口，以将产出数据上传至云服务的存储空间。
4.根据权利要求1所述的方法，其特征在于，所述第二应用向云服务发送针对所述产出数据的数据抓取请求的步骤包括：
第二应用根据配置文件调用云服务的文件下载接口，以接口形式发送针对所述产出数据的数据抓取请求；其中，所述配置文件包括访问账号、访问密钥和文件名。
5.一种获取数据的系统，其特征在于，所述系统包括：第一应用、第二应用和云服务；
第一应用，用于将产出数据以文件形式上传至云服务；
第二应用，用于向云服务发送针对所述产出数据的数据抓取请求，然后，第二应用接收所述云服务返回的与所述数据抓取请求对应的IO数据流，并将所述IO数据流转换为实体数据。
6.根据权利要求5所述的系统，其特征在于，在将所述IO数据流转换为实体数据之后，第二应用还用于将所述实体数据存储至Redis数据库和/或内存。
7.根据权利要求5所述的系统，其特征在于，所述第一应用将产出数据上传至云服务包括：所述第一应用根据访问账号和访问密钥调用云服务的文件上传接口，以将产出数据上传至云服务的存储空间。
8.根据权利要求5所述的系统，其特征在于，所述第二应用向云服务发送针对所述产出数据的数据抓取请求包括：
第二应用根据配置文件调用云服务的文件下载接口，以接口形式发送针对所述产出数据的数据抓取请求；其中，所述配置文件包括访问账号、访问密钥和文件名。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至4中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至4中任一所述的方法。
CN201810203829.XA 2018-03-13 2018-03-13 获取数据的方法和系统 Pending CN110347731A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810203829.XA CN110347731A (zh) 2018-03-13 2018-03-13 获取数据的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810203829.XA CN110347731A (zh) 2018-03-13 2018-03-13 获取数据的方法和系统

Publications (1)

Publication Number Publication Date
CN110347731A true CN110347731A (zh) 2019-10-18

Family

ID=68172457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810203829.XA Pending CN110347731A (zh) 2018-03-13 2018-03-13 获取数据的方法和系统

Country Status (1)

Country Link
CN (1) CN110347731A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111147445A (zh) * 2019-11-29 2020-05-12 杭州数梦工场科技有限公司 抓包方法、装置、系统及存储介质
CN113065049A (zh) * 2021-03-19 2021-07-02 深圳市腾讯网域计算机网络有限公司 数据抓取方法和装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012102909A1 (en) * 2011-01-27 2012-08-02 Wyse Technology Inc. Transferring configuration data from a public cloud server and applying onto a mobile client
CN103118077A (zh) * 2013-01-15 2013-05-22 百度在线网络技术（北京）有限公司 跨设备的内容传输方法、系统和客户端
CN103841179A (zh) * 2014-01-17 2014-06-04 上海宝信软件股份有限公司 云桌面系统
CN104079568A (zh) * 2014-06-27 2014-10-01 东湖软件产业股份有限公司 基于云存储技术防止文件泄密的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012102909A1 (en) * 2011-01-27 2012-08-02 Wyse Technology Inc. Transferring configuration data from a public cloud server and applying onto a mobile client
CN103118077A (zh) * 2013-01-15 2013-05-22 百度在线网络技术（北京）有限公司 跨设备的内容传输方法、系统和客户端
CN103841179A (zh) * 2014-01-17 2014-06-04 上海宝信软件股份有限公司 云桌面系统
CN104079568A (zh) * 2014-06-27 2014-10-01 东湖软件产业股份有限公司 基于云存储技术防止文件泄密的方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111147445A (zh) * 2019-11-29 2020-05-12 杭州数梦工场科技有限公司 抓包方法、装置、系统及存储介质
CN111147445B (zh) * 2019-11-29 2022-05-31 杭州数梦工场科技有限公司 抓包方法、装置、系统及存储介质
CN113065049A (zh) * 2021-03-19 2021-07-02 深圳市腾讯网域计算机网络有限公司 数据抓取方法和装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN106980669B (zh) 一种数据的存储、获取方法及装置
CN109189835A (zh) 实时生成数据宽表的方法和装置
CN109274731A (zh) 基于多租户技术的web服务的部署、调用方法和装置
CN110472207A (zh) 表单生成方法和装置
CN110083660A (zh) 一种同步数据的方法、装置、介质和电子设备
CN110427438A (zh) 数据处理方法及其装置、电子设备和介质
CN109918442A (zh) 一种数据的处理方法及装置
CN110209677A (zh) 更新数据的方法和装置
CN108897612A (zh) 路由跳转的方法和装置
CN110019125A (zh) 数据库管理的方法和装置
CN109614402A (zh) 多维数据查询方法和装置
CN108629029A (zh) 一种应用于数据仓库的数据处理方法和装置
CN109388654A (zh) 一种查询数据表的方法和装置
CN109918425A (zh) 一种实现数据导入非关系型数据库的方法和系统
CN109241033A (zh) 创建实时数据仓库的方法和装置
CN108984547A (zh) 数据处理的方法和装置
CN110427304A (zh) 用于银行系统的运维方法、装置、电子设备以及介质
CN109639598A (zh) 基于微服务的请求处理方法、服务器、存储介质及装置
CN109981322A (zh) 基于标签的云资源管理的方法和装置
CN109002440A (zh) 用于大数据多维分析的方法、装置及系统
CN110110196A (zh) 一种消息推送方法和装置
CN110109983A (zh) 一种操作Redis数据库的方法和装置
CN110347731A (zh) 获取数据的方法和系统
CN109960212A (zh) 任务发送方法和装置
CN108984564A (zh) 数据存储系统、方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210301

Address after: Room a1905, 19 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Beijing Jingdong Qianshi Technology Co.,Ltd.

Address before: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant before: Beijing Jingbangda Trading Co.,Ltd.

Effective date of registration: 20210301

Address after: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant after: Beijing Jingbangda Trading Co.,Ltd.

Address before: 100195 Beijing Haidian Xingshikou Road 65 West Cedar Creative Garden 4 District 11 Building East 1-4 Floor West 1-4 Floor

Applicant before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: BEIJING JINGDONG CENTURY TRADING Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018

RJ01 Rejection of invention patent application after publication