CN115576995A - 一种基于OpenGauss数据库的流数据加载方法 - Google Patents

一种基于OpenGauss数据库的流数据加载方法 Download PDF

Info

Publication number
CN115576995A
CN115576995A CN202211402322.XA CN202211402322A CN115576995A CN 115576995 A CN115576995 A CN 115576995A CN 202211402322 A CN202211402322 A CN 202211402322A CN 115576995 A CN115576995 A CN 115576995A
Authority
CN
China
Prior art keywords
loading
stream data
thread
data
idle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211402322.XA
Other languages
English (en)
Other versions
CN115576995B (zh
Inventor
权宗亮
何小栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Mass Database Technology Co ltd
Original Assignee
Guangzhou Mass Database Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Mass Database Technology Co ltd filed Critical Guangzhou Mass Database Technology Co ltd
Priority to CN202211402322.XA priority Critical patent/CN115576995B/zh
Publication of CN115576995A publication Critical patent/CN115576995A/zh
Application granted granted Critical
Publication of CN115576995B publication Critical patent/CN115576995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及流数据加载技术领域，提供一种基于OpenGauss数据库的流数据加载方法，包括：对加载配置参数进行初始化，将从流设备传入的流数据写入队列式缓冲区中；根据初始化的加载配置参数和流数据传入速度对队列式缓冲区中已接收的流数据进行分片；将分片按先进先出的方式分配至空闲加载线程，根据未处理的流数据的大小和空闲加载线程，动态调整分片的分配；计算加载线程的平均加载速度，根据平均加载速度计算未处理的流数据所需的剩余处理时间，动态调整分片在加载线程中的分配。根据本发明示例性实施例的基于OpenGauss数据库的流数据加载方法，可以提高加载流数据的及时性和效率，降低系统资源的无效占用，提高系统资源的利用率。

Description

一种基于OpenGauss数据库的流数据加载方法
技术领域
本发明涉及流数据加载技术领域，尤其涉及一种基于OpenGauss数据库的流数据加载方法。
背景技术
OpenGauss数据库是一款友好开放的企业级开源关系型数据库。OpenGauss数据库的数据加载过程是从数据源中抽取所需的数据，经过转换后按照预定义的数据模型，将数据加载到目标数据库中去。流数据是OpenGauss数据库在数据加载过程中一组顺序、大量、快速且连续到达的数据序列，一般情况下，流数据可被视为一个随时间延续而无限增长的动态数据集合。
流数据特点是高速和顺序，在结束前无法预知其数量，在现代高速网络的支持下，每秒可达800M以上(万兆网)。在实际应用场景中，加载过程中的处理速度如果跟不上流设备的数据涌入速度，很容易导致数据堵塞，甚至导致数据丢失。
因此，如何提高加载流数据的及时性和效率，降低系统资源的无效占用，提高系统资源的利用率，成为亟待解决的技术问题。
发明内容
有鉴于此，为了克服现有技术的不足，本发明提供一种基于OpenGauss数据库的流数据加载方法。
本发明提供一种基于OpenGauss数据库的流数据加载方法，包括：
步骤S1：对加载配置参数进行初始化，将从流设备传入的流数据写入队列式缓冲区中；
步骤S2：根据初始化的加载配置参数和流数据传入速度对队列式缓冲区中已接收的流数据进行分片；
步骤S3：将分片按先进先出的方式分配至空闲加载线程，根据未处理的流数据的大小和空闲加载线程，动态调整分片的分配；
步骤S4：计算加载线程的平均加载速度，根据平均加载速度计算未处理的流数据所需的剩余处理时间，动态调整分片在加载线程中的分配。
进一步地，本发明基于OpenGauss数据库的流数据加载方法的步骤S1，包括：配置初始线程数、初始线程加载速度、空闲加载线程数量、最小分片尺寸和最大分片尺寸。
进一步地，本发明基于OpenGauss数据库的流数据加载方法的步骤S3中，将分片按先进先出方式分配至空闲加载线程，包括：
根据流数据传入速度和初始线程加载速度确定预估加载线程数，当预估加载线程数大于初始线程数，将空闲加载线程数量增加至预估加载线程数；
当传入的流数据的数据量小于等于最小分片尺寸，将流数据分配至一个空闲加载线程，空闲加载线程的数量减一处理；
当传入的流数据的数据量大于最小分片尺寸，向每个空闲加载线程分配最小分片尺寸的流数据，直至所述流数据分配完，减去相应的空闲加载线程的数量；
当加载线程处理完所分配的流数据，空闲加载线程的数量加一处理。
进一步地，本发明基于OpenGauss数据库的流数据加载方法的步骤S3中，预估加载线程数按以下方式确定：计算流数据传入速度与初始线程加载速度的比值，将所述比值向上取整。
进一步地，本发明基于OpenGauss数据库的流数据加载方法的步骤S3中，根据未处理的流数据的大小和空闲加载线程，动态调整分片的分配，包括：
当队列式缓冲区中未处理的流数据的大小小于最小分片尺寸，继续等待流数据传入；
当队列缓冲区中未处理的流数据的大小不小于最小分片尺寸，根据未处理的流数据大小和空闲加载线程数计算实际分片尺寸，根据实际分片尺寸与初始化的加载配置参数的关系，动态调整分片的分配。
进一步地，本发明基于OpenGauss数据库的流数据加载方法的步骤S3中，实际分片尺寸等于未处理的流数据大小和空闲加载线程数的比值。
进一步地，本发明基于OpenGauss数据库的流数据加载方法的步骤S3中，根据实际分片尺寸与初始化的加载配置参数的关系，动态调整分片的分配，包括：
当实际分片尺寸大于初始化的加载配置参数中的最大分片尺寸，增加加载线程的数量，增加的加载线程的数量等于未处理的流数据的数量与最大分片尺寸的比值减去当前空闲加载线程数量，将未处理的流数据平均分配至所有的空闲加载线程；
当实际分片尺寸小于初始化的加载配置参数中的最小分片尺寸，按最小分片尺寸将未处理的流数据按组首至组尾的顺序分配至加载线程数组的空闲加载线程；
当实际分片尺寸在最小分片尺寸和最大分片尺寸之间，将未处理的流数据平均分配至所有的空闲加载线程；
按组尾至组首的顺序关闭加载线程数据中连续5次或超过30秒未分配到分片的空闲加载线程。
进一步地，本发明基于OpenGauss数据库的流数据加载方法的步骤S4中，计算加载线程的平均加载速度，包括：
计算单个加载线程的加载速度，所述单个加载线程的加载速度等于所述加载线程被分配的分片大小与加载该分片的时间的比值；
对所有单个加载线程的加载速度取平均值，获得加载线程的平均加载速度。
进一步地，本发明基于OpenGauss数据库的流数据加载方法的步骤S4中，根据平均加载速度计算未处理的流数据所需的剩余处理时间，包括：计算平均加载速度与总加载线程数量的乘积，将未处理数据的大小与所述乘积的比值作为未处理的流数据所需的剩余处理时间，其中，未处理的流数据的大小等于队列式缓冲区中未处理的数据与加载线程中未完成部分的数据之和。
进一步地，本发明基于OpenGauss数据库的流数据加载方法的步骤S4中，动态调整分片在加载线程中的分配，包括：为空闲线程分配分片，所述分片的大小等于当前未处理的流数据所需的剩余处理时间与平均加载速度的乘积。
本发明基于OpenGauss数据库的流数据加载方法，通过对整体加载状态进行预估，动态调整加载状态的捕捉频率，根据加载状态动态地调整加载，可以提高加载流数据的及时性和效率，降低系统资源的无效占用，提高系统资源的利用率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明技术原理的示意图。
图2为本发明示例性第一实施例基于OpenGauss数据库的流数据加载方法的流程图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
本发明的技术原理如下：
如图1所示，本发明通过设置足够大的流数据队列式缓冲区，将从流设备传入的流数据写入队列式缓冲区中，根据传输速度，将队列式缓冲区中已接收的流数据分为若干片，以先进先出的原则分配给不同的加载线程。图1中，蓝色为正在加载的分片，绿色为等待加载的分片，红色为正在写入流数据的位置，白色区域为无数据的缓冲区。
每次分配给加载线程的是不定位置、不定大小的分片，因此加载线程每次处理时间也不会相同。本发明通过对整体加载状态进行预估，动态调整加载状态的捕捉频率，根据加载状态动态地调整加载，可以提高加载流数据的及时性和效率，降低系统资源的无效占用，提高系统资源的利用率。
图2为根据本发明示例性第一实施例的一种基于OpenGauss数据库的流数据加载方法的流程图，如图2所示，本实施例的方法，包括：
步骤S1：对加载配置参数进行初始化，将从流设备传入的流数据写入队列式缓冲区中；
步骤S2：根据初始化的加载配置参数和流数据传入速度对队列式缓冲区中已接收的流数据进行分片；
步骤S3：将分片按先进先出的方式分配至空闲加载线程，根据未处理的流数据的大小和空闲加载线程，动态调整分片的分配；
步骤S4：计算加载线程的平均加载速度，根据平均加载速度计算未处理的流数据所需的剩余处理时间，动态调整分片在加载线程中的分配。
本实施例方法的步骤S1，包括：配置初始线程数、初始线程加载速度、空闲加载线程数量、最小分片尺寸和最大分片尺寸。
本发明示例性第二实施例提供一种基于OpenGauss数据库的流数据加载方法，本实施例是图2所示方法的优选实施例，本实施例方法的步骤S3中，将分片按先进先出方式分配至空闲加载线程，包括：
根据流数据传入速度和初始线程加载速度确定预估加载线程数，当预估加载线程数大于初始线程数，将空闲加载线程数量增加至预估加载线程数；
当传入的流数据的数据量小于等于最小分片尺寸，将流数据分配至一个空闲加载线程，空闲加载线程的数量减一处理；
当传入的流数据的数据量大于最小分片尺寸，向每个空闲加载线程分配最小分片尺寸的流数据，直至所述流数据分配完，减去相应的空闲加载线程的数量；
当加载线程处理完所分配的流数据，空闲加载线程的数量加一处理。
在实际应用中，本实施例方法的预估加载线程数按以下方式确定：计算流数据传入速度与初始线程加载速度的比值，将所述比值向上取整。
本发明示例性第三实施例提供一种基于OpenGauss数据库的流数据加载方法，本实施例是图2所示方法的优选实施例，本实施例方法的步骤S3中，根据未处理的流数据的大小和空闲加载线程，动态调整分片的分配，包括：
当队列式缓冲区中未处理的流数据的大小小于最小分片尺寸，继续等待流数据传入；
当队列缓冲区中未处理的流数据的大小不小于最小分片尺寸，根据未处理的流数据大小和空闲加载线程数计算实际分片尺寸，根据实际分片尺寸与初始化的加载配置参数的关系，动态调整分片的分配。
在实际应用中，本实施例方法中实际分片尺寸等于未处理的流数据大小和空闲加载线程数的比值。根据实际分片尺寸与初始化的加载配置参数的关系，动态调整分片的分配，包括：
当实际分片尺寸大于初始化的加载配置参数中的最大分片尺寸，增加加载线程的数量，增加的加载线程的数量等于未处理的流数据的数量与最大分片尺寸的比值减去当前空闲加载线程数量，将未处理的流数据平均分配至所有的空闲加载线程；
当实际分片尺寸小于初始化的加载配置参数中的最小分片尺寸，按最小分片尺寸将未处理的流数据按组首至组尾的顺序分配至加载线程数组的空闲加载线程；
当实际分片尺寸在最小分片尺寸和最大分片尺寸之间，将未处理的流数据平均分配至所有的空闲加载线程；
按组尾至组首的顺序关闭加载线程数据中连续5次或超过30秒未分配到分片的空闲加载线程。
本发明示例性第四实施例提供一种基于OpenGauss数据库的流数据加载方法，本实施例是图2所示方法的优选实施例，本实施例方法的步骤S4中，计算加载线程的平均加载速度，包括：
计算单个加载线程的加载速度，所述单个加载线程的加载速度等于所述加载线程被分配的分片大小与加载该分片的时间的比值；
对所有单个加载线程的加载速度取平均值，获得加载线程的平均加载速度。
本发明示例性第五实施例提供一种基于OpenGauss数据库的流数据加载方法，本实施例是图2所示方法的优选实施例，本实施例方法的步骤S4中，根据平均加载速度计算未处理的流数据所需的剩余处理时间，包括：计算平均加载速度与总加载线程数量的乘积，将未处理数据的大小与所述乘积的比值作为未处理的流数据所需的剩余处理时间，其中，未处理的流数据的大小等于队列式缓冲区中未处理的数据与加载线程中未完成部分的数据之和。
本发明示例性第六实施例提供一种基于OpenGauss数据库的流数据加载方法，本实施例是图2所示方法的优选实施例，本实施例方法的步骤S4中，动态调整分片在加载线程中的分配，包括：为空闲线程分配分片，所述分片的大小等于当前未处理的流数据所需的剩余处理时间与平均加载速度的乘积。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于OpenGauss数据库的流数据加载方法，其特征在于，所述方法，包括：
步骤S1：对加载配置参数进行初始化，将从流设备传入的流数据写入队列式缓冲区中；
步骤S2：根据初始化的加载配置参数和流数据传入速度对队列式缓冲区中已接收的流数据进行分片；
步骤S3：将分片按先进先出的方式分配至空闲加载线程，根据未处理的流数据的大小和空闲加载线程，动态调整分片的分配；
步骤S4：计算加载线程的平均加载速度，根据平均加载速度计算未处理的流数据所需的剩余处理时间，动态调整分片在加载线程中的分配。
2.根据权利要求1所述的基于OpenGauss数据库的流数据加载方法，其特征在于，步骤S1，包括：配置初始线程数、初始线程加载速度、空闲加载线程数量、最小分片尺寸和最大分片尺寸。
3.根据权利要求1所述的基于OpenGauss数据库的流数据加载方法，其特征在于，步骤S3中，将分片按先进先出方式分配至空闲加载线程，包括：
根据流数据传入速度和初始线程加载速度确定预估加载线程数，当预估加载线程数大于初始线程数，将空闲加载线程数量增加至预估加载线程数；
当传入的流数据的数据量小于等于最小分片尺寸，将流数据分配至一个空闲加载线程，空闲加载线程的数量减一处理；
当传入的流数据的数据量大于最小分片尺寸，向每个空闲加载线程分配最小分片尺寸的流数据，直至所述流数据分配完，减去相应的空闲加载线程的数量；
当加载线程处理完所分配的流数据，空闲加载线程的数量加一处理。
4.根据权利要求3所述的基于OpenGauss数据库的流数据加载方法，其特征在于，步骤S3中，预估加载线程数按以下方式确定：计算流数据传入速度与初始线程加载速度的比值，将所述比值向上取整。
5.根据权利要求1所述的基于OpenGauss数据库的流数据加载方法，其特征在于，步骤S3中，根据未处理的流数据的大小和空闲加载线程，动态调整分片的分配，包括：
当队列式缓冲区中未处理的流数据的大小小于最小分片尺寸，继续等待流数据传入；
当队列缓冲区中未处理的流数据的大小不小于最小分片尺寸，根据未处理的流数据大小和空闲加载线程数计算实际分片尺寸，根据实际分片尺寸与初始化的加载配置参数的关系，动态调整分片的分配。
6.根据权利要求5所述的基于OpenGauss数据库的流数据加载方法，其特征在于，步骤S3中，实际分片尺寸等于未处理的流数据大小和空闲加载线程数的比值。
7.根据权利要求5所述的基于OpenGauss数据库的流数据加载方法，其特征在于，步骤S3中，根据实际分片尺寸与初始化的加载配置参数的关系，动态调整分片的分配，包括：
当实际分片尺寸大于初始化的加载配置参数中的最大分片尺寸，增加加载线程的数量，增加的加载线程的数量等于未处理的流数据的数量与最大分片尺寸的比值减去当前空闲加载线程数量，将未处理的流数据平均分配至所有的空闲加载线程；
当实际分片尺寸小于初始化的加载配置参数中的最小分片尺寸，按最小分片尺寸将未处理的流数据按组首至组尾的顺序分配至加载线程数组的空闲加载线程；
当实际分片尺寸在最小分片尺寸和最大分片尺寸之间，将未处理的流数据平均分配至所有的空闲加载线程；
按组尾至组首的顺序关闭加载线程数据中连续5次或超过30秒未分配到分片的空闲加载线程。
8.根据权利要求1所述的基于OpenGauss数据库的流数据加载方法，其特征在于，步骤S4中，计算加载线程的平均加载速度，包括：
计算单个加载线程的加载速度，所述单个加载线程的加载速度等于所述加载线程被分配的分片大小与加载该分片的时间的比值；
对所有单个加载线程的加载速度取平均值，获得加载线程的平均加载速度。
9.根据权利要求1所述的基于OpenGauss数据库的流数据加载方法，其特征在于，步骤S4中，根据平均加载速度计算未处理的流数据所需的剩余处理时间，包括：计算平均加载速度与总加载线程数量的乘积，将未处理数据的大小与所述乘积的比值作为未处理的流数据所需的剩余处理时间，其中，未处理的流数据的大小等于队列式缓冲区中未处理的数据与加载线程中未完成部分的数据之和。
10.根据权利要求1所述的基于OpenGauss数据库的流数据加载方法，其特征在于，步骤S4中，动态调整分片在加载线程中的分配，包括：为空闲线程分配分片，所述分片的大小等于当前未处理的流数据所需的剩余处理时间与平均加载速度的乘积。
CN202211402322.XA 2022-11-09 2022-11-09 一种基于OpenGauss数据库的流数据加载方法 Active CN115576995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211402322.XA CN115576995B (zh) 2022-11-09 2022-11-09 一种基于OpenGauss数据库的流数据加载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211402322.XA CN115576995B (zh) 2022-11-09 2022-11-09 一种基于OpenGauss数据库的流数据加载方法

Publications (2)

Publication Number Publication Date
CN115576995A true CN115576995A (zh) 2023-01-06
CN115576995B CN115576995B (zh) 2023-06-09

Family

ID=84589808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211402322.XA Active CN115576995B (zh) 2022-11-09 2022-11-09 一种基于OpenGauss数据库的流数据加载方法

Country Status (1)

Country Link
CN (1) CN115576995B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969459A (zh) * 2009-09-30 2011-02-09 突触计算机系统（上海）有限公司 数据块分布控制方法及其装置
CN103327415A (zh) * 2013-06-05 2013-09-25 北京奇虎科技有限公司 一种加速网络视频下载的方法和装置
CN104967635A (zh) * 2014-05-22 2015-10-07 腾讯科技（深圳）有限公司 一种数据传输方法及装置
US20170201566A1 (en) * 2016-01-08 2017-07-13 Guangzhou Uc Network Technology Co., Ltd. File downloading method, apparatus, and terminal device
CN106980538A (zh) * 2017-02-16 2017-07-25 平安科技（深圳）有限公司 数据处理的方法及装置
US20180039710A1 (en) * 2016-08-05 2018-02-08 International Business Machines Corporation Distributed graph databases that facilitate streaming data insertion and queries by efficient throughput edge addition
US20180121111A1 (en) * 2016-11-02 2018-05-03 Commvault Systems, Inc. Dynamic scanning thread generation
WO2018121740A1 (zh) * 2016-12-30 2018-07-05 北京奇虎科技有限公司 一种流数据的并发读写方法和装置
US20190205179A1 (en) * 2017-12-29 2019-07-04 Huazhong University Of Science And Technology Distributed dynamic processing method for stream data within a computer system
US10769126B1 (en) * 2017-09-22 2020-09-08 Amazon Technologies, Inc. Data entropy reduction across stream shard
CN112152759A (zh) * 2020-10-14 2020-12-29 平安科技（深圳）有限公司 一种数据传输方法、数据传输系统、设备及存储介质
CN112286683A (zh) * 2020-10-29 2021-01-29 北京小米移动软件有限公司 一种分片下载方法、装置及介质
CN113342886A (zh) * 2021-06-23 2021-09-03 杭州数梦工场科技有限公司 数据交换方法和装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969459A (zh) * 2009-09-30 2011-02-09 突触计算机系统（上海）有限公司 数据块分布控制方法及其装置
CN103327415A (zh) * 2013-06-05 2013-09-25 北京奇虎科技有限公司 一种加速网络视频下载的方法和装置
CN104967635A (zh) * 2014-05-22 2015-10-07 腾讯科技（深圳）有限公司 一种数据传输方法及装置
US20170201566A1 (en) * 2016-01-08 2017-07-13 Guangzhou Uc Network Technology Co., Ltd. File downloading method, apparatus, and terminal device
US20180039710A1 (en) * 2016-08-05 2018-02-08 International Business Machines Corporation Distributed graph databases that facilitate streaming data insertion and queries by efficient throughput edge addition
US20180121111A1 (en) * 2016-11-02 2018-05-03 Commvault Systems, Inc. Dynamic scanning thread generation
WO2018121740A1 (zh) * 2016-12-30 2018-07-05 北京奇虎科技有限公司 一种流数据的并发读写方法和装置
CN106980538A (zh) * 2017-02-16 2017-07-25 平安科技（深圳）有限公司 数据处理的方法及装置
US10769126B1 (en) * 2017-09-22 2020-09-08 Amazon Technologies, Inc. Data entropy reduction across stream shard
US20190205179A1 (en) * 2017-12-29 2019-07-04 Huazhong University Of Science And Technology Distributed dynamic processing method for stream data within a computer system
CN112152759A (zh) * 2020-10-14 2020-12-29 平安科技（深圳）有限公司 一种数据传输方法、数据传输系统、设备及存储介质
CN112286683A (zh) * 2020-10-29 2021-01-29 北京小米移动软件有限公司 一种分片下载方法、装置及介质
CN113342886A (zh) * 2021-06-23 2021-09-03 杭州数梦工场科技有限公司 数据交换方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YEOUNOH CHUNG: "Automated Data Slicing for Model Validation:A Big data - AI Integration Approach", 《HTTPS://DOI.ORG/10.48550/ARXIV.1807.06068》, pages 1 - 13 *
吴润秀;吴水秀;刘清;: "基于粒计算的数据分片算法", 计算机应用, no. 06, pages 102 - 105 *

Also Published As

Publication number Publication date
CN115576995B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
US8799547B2 (en) Data packet processing method for a multi core processor
US20140059551A1 (en) Data storage i/o communication method and apparatus
CN106470169A (zh) 一种业务请求调整方法及设备
CN110248417B (zh) 一种电力物联网中上行通信业务的资源分配方法及系统
KR20110003467A (ko) 통신 네트워크에 있어서 예약 요청 스케줄링을 위한 시스템 및 방법
CN103763635B (zh) 一种视频缓冲的控制方法和系统
CN111858067B (zh) 一种数据处理方法及装置
US20130031239A1 (en) Data communication method and apparatus
US9769241B2 (en) Data transfer device, data transfer method, and program storage medium
US20150229693A1 (en) Implementing reduced video stream bandwidth requirements when remotely rendering complex computer graphics scene
CN113141320A (zh) 一种速率受限业务规划调度的系统、方法及应用
CN110780986B (zh) 一种基于移动边缘计算的物联网任务调度方法及系统
CN110048966B (zh) 基于截止时间的最小化系统开销的Coflow调度方法
CN107204930B (zh) 令牌添加方法及装置
CN109614228B (zh) 基于动态负载均衡方式的综合监控前置系统及工作方法
CN115576995B (zh) 一种基于OpenGauss数据库的流数据加载方法
CN107347197A (zh) 一种业务传输方法及装置
US9325631B2 (en) System and method for improved upstream transmission
WO2016037510A1 (zh) 一种电力线通信频谱碎片整理方法和装置
CN107819701B (zh) 流媒体应用快速缓冲的带宽分配方法及服务器
CN118202633A (zh) 利用多链路工作降低无线系统中的时延
CN109343940A (zh) 一种云平台中多媒体任务调度优化方法
CN113824689B (zh) 边缘计算网络、数据传输方法、装置、设备和存储介质
CN113328879B (zh) 一种基于网络演算的云数据中心网络QoS保证方法
US20020196799A1 (en) Throttling queue

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant