CN113868100A - 一种电商领域数据的自动化调度采集系统 - Google Patents
一种电商领域数据的自动化调度采集系统 Download PDFInfo
- Publication number
- CN113868100A CN113868100A CN202111252923.2A CN202111252923A CN113868100A CN 113868100 A CN113868100 A CN 113868100A CN 202111252923 A CN202111252923 A CN 202111252923A CN 113868100 A CN113868100 A CN 113868100A
- Authority
- CN
- China
- Prior art keywords
- data
- unit
- business side
- service
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002688 persistence Effects 0.000 claims abstract description 25
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000026676 system process Effects 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims 3
- 238000000034 method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Transfer Between Computers (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种电商领域数据的自动化调度采集系统，包括：数据服务接口单元、数据缓存单元、数据持久化单元、远端数据采集单元和监控日志单元；数据服务接口单元定义统一的数据格式，给出数据需求信息；数据缓存单元通过接收到的业务方数据的需求信息到相应的缓存单元中寻找是否包含业务方数据，如果包含业务方数据，调用业务方数据的回调地址；数据持久化单元通过接收到的业务方数据的需求信息到相应的持久化单元中寻找是否包含业务方数据，如果包含业务方数据，调用业务方数据的回调地址；远端数据采集单元通过接收到的业务方数据的需求信息，进行远端数据采集，调用业务方数据的回调地址；监控日志单元记录系统流程日志。
Description
技术领域
本发明涉及软件工程技术及服务端开发领域，特别涉及一种电商领域数据的自动化调度采集系统。
背景技术
随着企业的发展与业务的壮大，企业内部会出现多个业务部门之间相互使用对方数据与服务的情况。这种复杂的依赖关系会造成整个信息系统的混乱，降低系统的可维护性，同时也会导致相似需求重复开发、反复从远端采集相同数据的现象。针对不同业务部门差异化的数据需求，企业希望可以构建一套自动化的调度采集系统并且定义通用的数据格式，经由统一的接口提供服务。这样可以有效增加信息系统的可维护性，避免重复开发的情况，提高人员的工作效率。
企业内现有的技术方案是根据需求进行定制化开发。需求之间相互独立，每个需求都会封装一个对外的接口，没有实现服务的自动化和代码资源的复用。
由于各部门之间的需求具有相似性，导致了大量的相似功能重复开发，浪费了部门的研发资源，相互耦合的依赖关系也降低了系统的可维护性。目前同时还存在相同数据反复查询与远端重复采集的情况，系统整体的运行效率不高。这种方案没有做到高耦合低内聚的设计理念，需要进行调整。
发明内容
本发明实施例提供了一种电商领域数据的自动化调度采集系统。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
根据本发明实施例，提供了一种电商领域数据的自动化调度采集系统，包括：数据服务接口单元、数据缓存单元、数据持久化单元、远端数据采集单元和监控日志单元；
所述数据服务接口单元定义统一的数据格式，按照统一的数据格式进行业务请求，给出数据需求信息；
所述数据缓存单元通过接收到的业务方数据的需求信息到相应的缓存单元中寻找是否包含所述业务方数据，如果包含所述业务方数据，调用所述业务方数据的回调地址，如果不包含所述业务方数据，进入所述数据持久化单元寻找；
所述数据持久化单元通过接收到的业务方数据的需求信息到相应的持久化单元中寻找是否包含所述业务方数据，如果包含所述业务方数据，调用所述业务方数据的回调地址，如果不包含所述业务方数据，需要进行远端数据采集；
所述远端数据采集单元通过接收到的业务方数据的需求信息，进行远端数据采集，获取到相应的数据后，调用所述业务方数据的回调地址；
所述监控日志单元记录系统流程的日志。
在一些实施例中，所述调用所述业务方数据的回调地址之后，还包括：返回并记录日志。
在一些实施例中，对于所述数据持久化单元，返回并记录日志，在返回并记录日志之后还包括：将所述业务方数据写入所述数据缓存单元，使用LRU缓存机制进行保存。
在一些实施例中，对于所述远端数据采集单元，返回并记录日志，在返回并记录日志之后还包括：将所述业务方数据写入所述数据持久化单元和数据缓存单元。
在一些实施例中，对于所述远端数据采集单元，还包括：
如果在规定时间T内获取所述业务方数据失败，将失败结果通过回调地址返回并记录失败任务日志，然后将所述业务方数据获取异常的信息写入所述数据缓存单元。
在一些实施例中，所述数据服务接口单元定义统一的数据格式，按照统一的数据格式进行业务请求，给出数据需求信息，其中所述进行业务请求的具体内容包括：业务方的回调地址和业务方数据需求信息。
在一些实施例中，业务主要包括：店铺信息采集业务，规格参数信息采集业务和评论信息采集业务。
在一些实施例中，所述远端数据采集单元包括：API接口、分布式爬虫和远端数据库。
在一些实施例中，所述规定时间T为0-7天，其中， T=0，为实时采集。
在一些实施例中，所述日志包括：请求日志、数据处理日志、采集日志和数据回调日志。
本发明实施例提供的技术方案可以包括以下有益效果：
本采集调度系统，可以更加方便的对接公司不同的业务，使不同业务对接都有统一的标准可以参考实施，更加便于管理与维护，而且对于采集资源有了更合理的使用与分配可更好的节省采集资源，提升了采集效率。并且对于数据的完整性与准确性都有了更好的提升，是调用方使用此系统更加便捷高效。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种电商领域数据的自动化调度采集系统的结构示意图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的结构、产品等而言，由于其与实施例公开的部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
下面结合附图及实施例对本发明做进一步描述：
实施例1：
如图1所示的一种电商领域数据的自动化调度采集系统，包括，
数据服务接口单元、数据缓存单元、数据持久化单元、远端数据采集单元和监控日志单元；
所述数据服务接口单元定义统一的数据格式，按照统一的数据格式进行业务请求，给出数据需求信息；
所述数据缓存单元通过接收到的业务方数据的需求信息到相应的缓存单元中寻找是否包含所述业务方数据，如果包含所述业务方数据，调用所述业务方数据的回调地址，返回并记录日志，如果不包含所述业务方数据，进入所述数据持久化单元寻找；
所述数据持久化单元通过接收到的业务方数据的需求信息到相应的持久化单元中寻找是否包含所述业务方数据，如果包含所述业务方数据，调用所述业务方数据的回调地址，返回并记录日志，如果不包含所述业务方数据，需要进行远端数据采集；
所述远端数据采集单元通过接收到的业务方数据的需求信息，进行远端数据采集，如果在规定时间T内获取到相应的数据后，调用所述业务方数据的回调地址，返回并记录日志；所述远端数据采集单元包括：API接口、分布式爬虫和远端数据库；
API接口的采集：是指通过商务与各个电商平台协商，由各个电商平台提供数据接口API，爬虫服务访问对方的API接口获取数据，数据获取更加直接高效。
分布式爬虫的采集：是指通过自己的爬虫服务获取数据。可以支持多任务，高并发去采集制定url的数据，支持分布式部署，可能会遇到封IP等问题。
远端数据库的采集：是指通过公司自己其他部门的远端数据库，针对本公司已经存在的数据，可以直接从指定数据库获取数据。可减少数据获取成本，直接使用公司已有的数据。
根据不同的业务类型，T的时间不同，一般为（0-7天），单位：天
实时业务T=0，会实时采集，待采集数据会直接调用API接口采集，分布式爬虫采集或者远端数据库采集，不走缓存获取最新的数据。
规定时间T是可以配置的，实时业务T=0，会实时采集，可以是0-7天，对于普通任务可以是1天，低频业务的实效可以是3天，5天或者 7天。
普通业务T=1，1天内的数据不会重复调用采集资源。会直接从redis缓存或者调度库中返回数据。减少采集压力。
低频业务T=7，7天内的数据不会重复调用采集资源。会直接从redis缓存或者调度库中返回数据，减少采集压力。所述监控日志单元记录系统流程的日志。
在一些实施例中，对于所述数据持久化单元，返回并记录日志后所述方法还包括：将所述业务方数据写入所述数据缓存单元，使用LRU缓存机制进行保存。
根据上述方案，进一步，对于所述远端数据采集单元，返回并记录日志后所述方法还包括：将所述业务方数据写入所述数据持久化单元和数据缓存单元。
具体地，对于所述远端数据采集单元，所述方法还包括：
其中，如果在规定时间T内获取所述业务方数据失败，将失败结果通过回调地址返回并记录失败任务日志，然后将所述业务方数据获取异常的信息写入所述数据缓存单元。
在一些实施例中，优选的，所述业务请求包括：业务方的回调地址、业务方数据需求信息。
业务主要包括：店铺信息采集业务，规格参数信息采集业务和评论信息采集业务。
在一些实施例中，所述日志包括：请求日志、数据处理日志、采集日志和数据回调日志。
实施例2：
根据实施例1所述一种电商领域数据的自动化调度采集系统，其中，进一步，优选的方案，如图所示，包括：数据服务接口单元、数据缓存单元、数据持久化单元、远端数据采集单元、监控日志单元，所述数据服务接口单元与数据缓存单元连接，所述数据缓存单元与数据持久化单元连接，所述数据持久化单元与远端数据采集单元连接，所述数据缓存单元与监控日志单元连接。
数据服务接口单元：
A、不同的业务都可以按照统一的接口进行业务请求, 业务主要包括(店铺信息采集业务，规格参数信息采集业务，评论信息采集业务等)
B、调用方按照不同的业务类型，相同的数据请求格式请求调度接口，等待接口获取最新数据，并把获取到的最新结果通过回调地址把数据回返给调用方，从而保证数据流程的完整性，与可靠性。
数据缓存单元：
A、数据通过第一步接口进入调度系统后，会根据调用方请求的数据类型，去缓存表获取该数据，是否有采集到的结果。
1、如果有采集到的结果则会根据更新时间与配置表设置的过期时间比较此数据是否过期，如果过期则会把数据推送到redis队列，等待采集重新采集。数据没有过期则调用业务方的回调地址返回并记录日志。
2、如果没有采集到的结果，则直接把数据推到redis队列，等待采集结果。
3、针对上述请求都统一记录日志，便于统一管理，异常请求问题溯源，流程状态跟踪。
数据持久化单元：
A、 通过第一步中接受到的业务方数据的需求信息到相应的持久化单元Mysql中寻找是否包含该数据：
1、如果包含则会根据更新时间与配置表设置的过期时间比较此数据是否过期，如果过期则会把数据推送到redis队列，等待采集重新采集。数据没有过期则调用业务方的回调地址返回并记录日志，然后将该数据写入数据缓存单元，使用LRU缓存机制进行保存；
2、如果不包含则把请求数据推送到redis队列等待采集流程返回结果
3、针对上述请求都统一记录日志，便于统一管理，异常请求问题溯源，流程状态跟踪。
远端数据采集单元：
A、此模块为独立的采集器模块（包含API接口、分布式爬虫、远端数据库），承接不同业务的采集功能。
B、会从redis队列获取待下载数据，通过采集系统的下载逻辑分析逻辑提取最终结果并会把采集到的数据传送给调度系统，并记录采集日志。
监控日志单元：
A、系统会针对流程的每一步记录日志，包括请求日志，数据处理日志，采集日志，数据回调日志等，并把记录的日志存储到数据库，便于后续排查问题。
本采集调度系统，可以更加方便的对接公司不同的业务，使不同业务对接都有统一的标准可以参考实施，更加便于管理与维护，而且对于采集资源有了更合理的使用与分配可更好的节省采集资源，提升了采集效率。并且对于数据的完整性与准确性都有了更好的提升，是调用方使用此系统更加便捷高效。
本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA（现场可编程门阵列）或ASIC（专用集成电路）来执行，并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理（PDA）、移动音频或视频播放器、游戏操纵台、全球定位系统（GPS）接收机、或例如通用串行总线（USB）闪存驱动器的便携式存储设备，仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备（例如EPROM、EEPROM和闪存设备）、磁盘（例如内部硬盘或可移动盘）、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的流程及结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种电商领域数据的自动化调度采集系统，其特征在于，包括，
数据服务接口单元、数据缓存单元、数据持久化单元、远端数据采集单元和监控日志单元；
所述数据服务接口单元定义统一的数据格式，按照统一的数据格式进行业务请求，给出数据需求信息；
所述数据缓存单元通过接收到的业务方数据的需求信息到相应的缓存单元中寻找是否包含所述业务方数据，如果包含所述业务方数据，调用所述业务方数据的回调地址，如果不包含所述业务方数据，进入所述数据持久化单元寻找；
所述数据持久化单元通过接收到的业务方数据的需求信息到相应的持久化单元中寻找是否包含所述业务方数据，如果包含所述业务方数据，调用所述业务方数据的回调地址，如果不包含所述业务方数据，需要进行远端数据采集；
所述远端数据采集单元通过接收到的业务方数据的需求信息，进行远端数据采集，获取到相应的数据后，调用所述业务方数据的回调地址；
所述监控日志单元记录系统流程的日志。
2.根据权利要求1所述的电商领域数据的自动化调度采集系统，其特征在于，所述调用所述业务方数据的回调地址之后，还包括：返回并记录日志。
3.根据权利要求1所述的电商领域数据的自动化调度采集系统，其特征在于，对于所述数据持久化单元，返回并记录日志，在返回并记录日志之后还包括：将所述业务方数据写入所述数据缓存单元，使用LRU缓存机制进行保存。
4.根据权利要求1所述的电商领域数据的自动化调度采集系统，其特征在于，对于所述远端数据采集单元，返回并记录日志，在返回并记录日志之后还包括：将所述业务方数据写入所述数据持久化单元和数据缓存单元。
5.根据权利要求1所述的电商领域数据的自动化调度采集系统，其特征在于，对于所述远端数据采集单元，还包括：
如果在规定时间T内获取所述业务方数据失败，将失败结果通过回调地址返回并记录失败任务日志，然后将所述业务方数据获取异常的信息写入所述数据缓存单元。
6.根据权利要求1所述的电商领域数据的自动化调度采集系统，其特征在于，所述数据服务接口单元定义统一的数据格式，按照统一的数据格式进行业务请求，给出数据需求信息，其中所述进行业务请求的具体内容包括：业务方的回调地址和业务方数据需求信息。
7.根据权利要求1所述的电商领域数据的自动化调度采集系统，其特征在于，业务主要包括：店铺信息采集业务，规格参数信息采集业务和评论信息采集业务。
8.根据权利要求1所述的电商领域数据的自动化调度采集系统，其特征在于，所述远端数据采集单元包括：API接口、分布式爬虫和远端数据库。
9.根据权利要求7所述的电商领域数据的自动化调度采集系统，其特征在于，所述规定时间T为0-7天，其中， T=0，为实时采集。
10.根据权利要求1所述的电商领域数据的自动化调度采集系统，其特征在于，所述日志包括：请求日志、数据处理日志、采集日志和数据回调日志。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111252923.2A CN113868100B (zh) | 2021-10-27 | 2021-10-27 | 一种电商领域数据的自动化调度采集系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111252923.2A CN113868100B (zh) | 2021-10-27 | 2021-10-27 | 一种电商领域数据的自动化调度采集系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113868100A true CN113868100A (zh) | 2021-12-31 |
| CN113868100B CN113868100B (zh) | 2024-08-13 |
Family
ID=78997716
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111252923.2A Active CN113868100B (zh) | 2021-10-27 | 2021-10-27 | 一种电商领域数据的自动化调度采集系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113868100B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103678092A (zh) * | 2013-12-30 | 2014-03-26 | 北京网康科技有限公司 | 日志分析方法及系统 |
| CN105099740A (zh) * | 2014-05-15 | 2015-11-25 | 中国移动通信集团浙江有限公司 | 一种日志管理系统及日志采集方法 |
| CN105338026A (zh) * | 2014-07-24 | 2016-02-17 | 阿里巴巴集团控股有限公司 | 数据资源的获取方法、装置和系统 |
| CN107819744A (zh) * | 2017-10-25 | 2018-03-20 | 上海润和信息技术服务有限公司 | 基于cs架构的业务统一与协调的方法及系统 |
| WO2020192063A1 (zh) * | 2019-03-28 | 2020-10-01 | 苏宁云计算有限公司 | 一种基于缓存化的销售锁定方法及系统 |
| CN113220729A (zh) * | 2021-05-28 | 2021-08-06 | 网易（杭州）网络有限公司 | 数据存储方法、装置、电子设备及计算机可读存储介质 |
-
2021
- 2021-10-27 CN CN202111252923.2A patent/CN113868100B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103678092A (zh) * | 2013-12-30 | 2014-03-26 | 北京网康科技有限公司 | 日志分析方法及系统 |
| CN105099740A (zh) * | 2014-05-15 | 2015-11-25 | 中国移动通信集团浙江有限公司 | 一种日志管理系统及日志采集方法 |
| CN105338026A (zh) * | 2014-07-24 | 2016-02-17 | 阿里巴巴集团控股有限公司 | 数据资源的获取方法、装置和系统 |
| CN107819744A (zh) * | 2017-10-25 | 2018-03-20 | 上海润和信息技术服务有限公司 | 基于cs架构的业务统一与协调的方法及系统 |
| WO2020192063A1 (zh) * | 2019-03-28 | 2020-10-01 | 苏宁云计算有限公司 | 一种基于缓存化的销售锁定方法及系统 |
| CN113220729A (zh) * | 2021-05-28 | 2021-08-06 | 网易（杭州）网络有限公司 | 数据存储方法、装置、电子设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113868100B (zh) | 2024-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101996214B (zh) | 用于处理数据库操作请求的方法和装置 | |
| CN109271435A (zh) | 一种支持断点续传的数据抽取方法及系统 | |
| CN105164674A (zh) | 涉及多个数据库和执行引擎的查询 | |
| CN111563130A (zh) | 一种基于区块链技术的数据可信数据治理方法和系统 | |
| CN110659259B (zh) | 数据库迁移方法、服务器以及计算机存储介质 | |
| US20140025899A1 (en) | Efficiently Updating and Deleting Data in a Data Storage System | |
| CN111400288A (zh) | 数据质量检查方法及系统 | |
| CN112948492A (zh) | 一种数据处理系统、方法、装置、电子设备及存储介质 | |
| CN111143304B (zh) | 一种基于请求链路的微服务系统异常日志分析方法 | |
| CN110175206A (zh) | 用于多数据库分离的智能分析业务方法、系统及介质 | |
| CN114761939A (zh) | 基于混合云的实时数据归档方法及系统 | |
| CN111367760A (zh) | 日志采集方法及装置、计算机设备、存储介质 | |
| CN113282611A (zh) | 一种流数据同步的方法、装置、计算机设备及存储介质 | |
| CN108595480B (zh) | 一种基于云计算的大数据etl工具系统及应用方法 | |
| CN112579567B (zh) | 一种基于MinIO工业质检文件分布式存储方法 | |
| CN113868100B (zh) | 一种电商领域数据的自动化调度采集系统 | |
| CN111930385A (zh) | 数据采集方法、装置、设备及存储介质 | |
| CN114817325A (zh) | 车辆时序数据处理方法、装置、电子设备和存储介质 | |
| CN114116908A (zh) | 一种数据管理方法、装置及电子设备 | |
| CN110413496B (zh) | 一种实现电子证照运行数据组件化收集的方法 | |
| CN112765100A (zh) | 查询日志的方法、系统、计算设备和介质 | |
| CN111611056A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
| CN115757041B (zh) | 可动态配置的多集群日志采集的方法及应用 | |
| CN101442503B (zh) | 处理组件更新消息的方法和设备 | |
| CN117093384B (zh) | 通用的后端可靠执行方法、系统、设备及可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |