CN113595926A - 基于数据中台的api数据传输方法、装置、设备和介质 - Google Patents
基于数据中台的api数据传输方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN113595926A CN113595926A CN202110857641.9A CN202110857641A CN113595926A CN 113595926 A CN113595926 A CN 113595926A CN 202110857641 A CN202110857641 A CN 202110857641A CN 113595926 A CN113595926 A CN 113595926A
- Authority
- CN
- China
- Prior art keywords
- transmission
- data
- packets
- thread
- threads
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
- H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及一种基于数据中台的API数据传输方法、装置、计算机设备和存储介质。方法包括：获取待传输API数据包，并将待传输API数据包转换为多个数据分包；确定出与用于传输数据分包的各传输路径对应的传输线程，统计传输线程中完成预设工作量的线程数量，并计算出任务处理程度值；获取目标传输线程的当前队列长度；根据任务处理程度值和当前队列长度确定出目标传输线程的数据分包的目标分配数量；利用目标传输线程将目标分配数量的数据分包传输至数据中台；再继续确定目标传输线程直至数据分包传输完毕。采用本方法能够使得各传输线程的传输任务相对均衡，既能降低传输线程的拥堵风险，又能避免传输线程空闲从而提高传输线程的传输效率。
Description
技术领域
本申请涉及数据传输技术领域，特别是涉及一种基于数据中台的API数据传输方法、装置、计算机设备和存储介质。
背景技术
随着信息技术的快速发展，政企数字化的普及程度越来越高。数据中台是在政企数字化转型过程中，对各业务单元业务与数据的沉淀，构建包括数据技术、数据治理、数据运营等数据建设、管理、使用体系，实现数据赋能，是新型信息化应用框架体系中的核心。
在政企数字化的应用中，前端通过API(Application Programming Interface，应用程序接口)服务与数据中台进行数据传输，且为了提高数据传输效率，一般设置多个传输路径，并利用不同的传输线程对各传输路径进行传输控制；同时为了均衡各传输线程的任务量，一般是都是轮流给各传输线程分配预设固定数量的数据分包；但是由于传输每个数据分包的所需时间不同，各传输线程的传输速率不同，按照目前的方法，将会造成传输线程拥堵或者传输线程空闲导致传输效率低的情况。
因此，如何降低传输线程的拥堵风险，提高传输线程的传输效率，是本领域技术人员当前需要解决的技术问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够降低传输线程的拥堵风险，提高传输线程的传输效率的基于数据中台的API数据传输方法、装置、计算机设备和存储介质。
一种基于数据中台的API数据传输方法，所述方法包括：
获取待传输API数据包，并将所述待传输API数据包转换为多个数据分包；
确定出与用于传输所述数据分包的各传输路径对应的传输线程，统计所述传输线程中完成预设工作量的线程数量，并计算出任务处理程度值；
将任一个传输线程确定为目标传输线程，获取所述目标传输线程的当前队列长度；
根据所述任务处理程度值和所述当前队列长度确定出所述目标传输线程的数据分包的目标分配数量；
利用所述目标传输线程将所述目标分配数量的所述数据分包传输至数据中台；
在剩余传输线程中确定目标传输线程，返回所述根据所述数据分包的总数和已传输的所述数据分包的数量确定出当前队列长度的步骤，直至所述数据分包传输完毕。
在其中一个实施例中，所述确定出与用于传输所述数据分包的各传输路径对应的传输线程，统计所述传输线程中完成预设工作量的线程数量，并计算出任务处理程度值的过程，包括：
确定出与用于传输所述数据分包的各所述传输路径对应的传输线程；
统计所述传输线程中已经完成50％工作量的第一线程数量和已经完成75％工作量的第二线程数量；
利用所述第一线程数量和所述第二线程数量，通过加权计算得出所述任务处理程度值。
在其中一个实施例中，所述方法还包括：
获取与所述待传输API数据包对应的事件通知API请求；
对所述事件通知API请求进行认证；
若认证通过，则进入所述利用所述目标传输线程将所述目标分配数量的所述数据分包传输至数据中台的步骤；
否则，结束进程。
在其中一个实施例中，所述方法还包括：
对所述待传输API数据包中的待传输数据信息进行统计分析，并在确定出所述待传输数据信息异常时，发出预警信息。
在其中一个实施例中，所述方法还包括：
确定出各所述传输线程传输完各自线程中的所述数据分包的预估完成时间。
在其中一个实施例中，所述确定出与用于传输所述数据分包的各所述传输路径对应的传输线程的过程，包括：
为各所述传输线程设置对应的线程标识；
确定出用于传输所述数据分包的各所述传输路径，确定出各所述传输路径的路径标识；
依据所述线程标识和所述路径标识的对应关系，确定出与各所述传输路径对应的传输线程。
在其中一个实施例中，在传输线程数量小于传输路径数量时，所述方法还包括：
调用newTask命令新建传输线程，以使得所述传输线程数量等于所述传输路径数量。
一种基于数据中台的API数据传输装置所述装置包括：
获取模块，用于获取待传输API数据包，并将所述待传输API数据包转换为多个数据分包；
第一确定模块，用于确定出与用于传输所述数据分包的各传输路径对应的传输线程，统计所述传输线程中完成预设工作量的线程数量，并计算出任务处理程度值；
第二确定模块，用于将任一个传输线程确定为目标传输线程，获取所述目标传输线程的当前队列长度；
第三确定模块，用于根据所述任务处理程度值和所述当前队列长度确定出所述目标传输线程的数据分包的目标分配数量；
传输模块，用于利用所述目标传输线程将所述目标分配数量的所述数据分包传输至数据中台；
第四确定模块，用于在剩余传输线程中确定目标传输线程，返回所述根据所述数据分包的总数和已传输的所述数据分包的数量确定出当前队列长度的步骤，直至所述数据分包传输完毕。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待传输API数据包，并将所述待传输API数据包转换为多个数据分包；
确定出与用于传输所述数据分包的各传输路径对应的传输线程，统计所述传输线程中完成预设工作量的线程数量，并计算出任务处理程度值；
将任一个传输线程确定为目标传输线程，获取所述目标传输线程的当前队列长度；
根据所述任务处理程度值和所述当前队列长度确定出所述目标传输线程的数据分包的目标分配数量；
利用所述目标传输线程将所述目标分配数量的所述数据分包传输至数据中台；
在剩余传输线程中确定目标传输线程，返回所述根据所述数据分包的总数和已传输的所述数据分包的数量确定出当前队列长度的步骤，直至所述数据分包传输完毕。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待传输API数据包，并将所述待传输API数据包转换为多个数据分包；
确定出与用于传输所述数据分包的各传输路径对应的传输线程，统计所述传输线程中完成预设工作量的线程数量，并计算出任务处理程度值；
将任一个传输线程确定为目标传输线程，获取所述目标传输线程的当前队列长度；
根据所述任务处理程度值和所述当前队列长度确定出所述目标传输线程的数据分包的目标分配数量；
利用所述目标传输线程将所述目标分配数量的所述数据分包传输至数据中台；
在剩余传输线程中确定目标传输线程，返回所述根据所述数据分包的总数和已传输的所述数据分包的数量确定出当前队列长度的步骤，直至所述数据分包传输完毕。
上述基于数据中台的API数据传输方法、装置、计算机设备和存储介质，通过将任一个传输线程确定为目标传输线程，并根据各传输线程的任务处理程度值和当前队列长度计算出目标传输线程的数据分包的目标分配数量，并利用所述目标传输线程将所述目标分配数量的所述数据分包传输至数据中台；也就是说，本方法是根据各传输线程的数据传输情况为各传输线程分配对应数量的数据分包，因此能够使得各传输线程的传输任务相对均衡，既能降低传输线程的拥堵风险，又能避免传输线程空闲从而提高传输线程的传输效率。
附图说明
图1为一个实施例中基于数据中台的API数据传输方法的应用环境图；
图2为一个实施例中基于数据中台的API数据传输方法的流程示意图；
图3为一个实施例中步骤204，确定出与用于传输所述数据分包的各传输路径对应的传输线程，统计所述传输线程中完成预设工作量的线程数量，并计算出任务处理程度值的流程示意图；
图4为一个实施例中基于数据中台的API数据传输装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于数据中台的API数据传输方法，可以应用于如图1所示的应用环境中。其中，数据中控102与数据中台104通过网络进行通信，数据中控102可以但不限于是各种服务器、个人计算机、笔记本电脑等，数据中台104的具体类型根据企业需求进行设置，本实施例对此不做限定。
在一个实施例中，如图2所示，提供了一种基于数据中台的API数据传输方法，以该方法应用于图1中的数据中控为例进行说明，包括以下步骤：
步骤202，获取待传输API数据包，并将待传输API数据包转换为多个数据分包。
具体的，待传输API数据包指的是数据中控当前需要传输至数据中台的API数据包，API数据包指的是依据API协议进行数据传输的数据包。需要说明的是，在进行数据传输之前，一般需要将待传输API数据包进行数据切分，转换为多个数据分包，通过传输各数据分包的方式传输该待传输API数据包。
在实际操作中，一般是根据传输路径的带宽等因素确定出数据分包的大小，进而确定出根据待传输API数据包转换得出的数据分包的数量，另外也可以是技术人员根据技术经验直接设置数据分包的数量，本实施例对数据分包的分包数量不做限定。
步骤204，确定出与用于传输数据分包的各传输路径对应的传输线程，统计传输线程中完成预设工作量的线程数量，并计算出任务处理程度值。
具体的，在本步骤中，首先需要确定出用于传输数据分包的各传输路径，并确定出与各传输路径对应的传输线程。传输路径一般指的是发送端与接收端之间的网络路径，本实施例中指的是数据中控与数据中台之间的路由路径，该路由路径用于实现数据中控与数据中台之间的信息传输。在实际操作中，可以根据不同的度量标准确定出多种不同的路由路径，具体根据实际需求进行选定，其中度量标准包括路径长度、可靠性、时延、带宽、负载、通信成本等。传输线程指的是执行传输操作的程序指令序列，每个传输线程管理控制一个传输路径的数据传输情况。
具体的，获取预设工作量，预设工作量可以设置为50％，80％，90％等，本实施例对此不做限定，表示传输线程当前完成的工作任务占总工作任务的百分比。在确定出与各传输路径对应的传输线程后，根据当前各传输线程的数据传输情况，统计传输线程中完成预设工作量的线程数量，并根据统计结果计算出任务处理程度值；其中，任务处理程度值表示各传输线程的整体传输情况。
步骤206，将任一个传输线程确定为目标传输线程，获取目标传输线程的当前队列长度。
在本实施例中，是需要根据实际传输情况分别为各传输线程计算出对应的目标分配数量，以利用该目标分配数量为对应的传输线程分配对应的数据分包；因此，需要依次将各传输线程确定为目标传输线程，每次针对目标传输线程确定出对应的目标分配数量。可以理解的是，目标传输线程是传输线程中的任意一个线程，可以按照预设算法确定出目标传输线程，也可以是通过预先为各传输线程编号，按照预设编号顺序依次确定出目标传输线程，从而实现依次为各传输线程确定对应的目标分配数量。
具体的，在确定出目标传输线程后，根据目标传输线程的数据传输情况更新当前队列长度，获取目标传输线程中未传输的数据包的数量，即当前队列长度。
步骤208，根据任务处理程度值和当前队列长度确定出目标传输线程的数据分包的目标分配数量。
具体的，在获取到当前的任务处理程度值和当前队列长度后，根据任务处理程度值和当前队列长度确定出目标传输线程的目标分配数量，即当前需要为目标传输线程分配数据分包的数量。需要说明的是，在本实施例中，一种具体的计算目标分配数量的方式为：
目标分配数量＝[(队列总长度-M)/2+N/3]；
其中，队列总长度指的是待传输API数据包对应的数据分包的数量，M表示目标传输线程的当前队列长度，N表示任务处理程度值。
步骤210，利用目标传输线程将目标分配数量的数据分包传输至数据中台。
可以理解的是，在确定出与目标传输线程对应的目标分配数量后，将目标分配数量的数据分包分配给目标传输线程，目标传输线程将分配得到的数据分包传输给数据中台。需要说明的是，利用目标传输线程向数据中台发送数据分包的过程为本领域技术人员的公知常识，此处不做赘述。
需要说明的是，在将待传输API数据包以数据分包的形式传输至数据中台后，数据中台获取各数据分包，取出对应的数据信息并组合得出与待传输API数据包对应的API数据包。
步骤212，在剩余传输线程中确定目标传输线程，返回根据数据分包的总数和已传输的数据分包的数量确定出当前队列长度的步骤，直至数据分包传输完毕。
需要说明的是，在利用目标传输线程传输目标分配数量的数据分包之后或者传输同时，数据中控将继续在剩余的传输线程中确定出目标传输线程，即确定出下一个进行分配数据分包的传输线程，为下一个传输线程确定出对应的目标分配数量的数据分包，以使得下一个传输线程继续传输待传输API数据包中的其他未传输的数据分包，直至待传输API数据包中的所有数据分包传输完毕，结束进程。
需要说明的是，在剩余传输线程中确定目标传输线程的方式可以参照上述步骤206中将任一个传输线程确定为目标传输线程的过程；剩余传输线程指的是除上一次分配数据分包的传输线程之外的传输线程。
本发明实施例提供的一种基于数据中台的API数据传输方法，通过将任一个传输线程确定为目标传输线程，并根据各传输线程的任务处理程度值和当前队列长度计算出目标传输线程的数据分包的目标分配数量，并利用目标传输线程将目标分配数量的数据分包传输至数据中台；也就是说，本方法是根据各传输线程的数据传输情况为各传输线程分配对应数量的数据分包，因此能够使得各传输线程的传输任务相对均衡，既能降低传输线程的拥堵风险，又能避免传输线程空闲从而提高传输线程的传输效率。
如图3为本发明实施例提供的另一种基于数据中台的API数据传输方法；在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例中，确定出与用于传输数据分包的各传输路径对应的传输线程，统计传输线程中完成预设工作量的线程数量，并计算出任务处理程度值的过程，包括：
步骤302，确定出与用于传输数据分包的各传输路径对应的传输线程。
在本实施例中，首先确定出用于传输数据分包的各传输路径，然后根据传输路径与传输线程的对应关系确定出与各传输路径对应的传输线程。
作为优选的实施方式，确定出与用于传输数据分包的各传输路径对应的传输线程的过程，包括：
为各传输线程设置对应的线程标识；
确定出用于传输数据分包的各传输路径，确定出各传输路径的路径标识；
依据线程标识和路径标识的对应关系，确定出与各传输路径对应的传输线程。
具体的，预先为各传输线程设置对应的线程标识，线程标识即用于唯一标识各传输线程的标识信息，可以用数值、字母或符号等设置线程标识，本实施例对线程标识的具体类型不做限定。然后，根据路由算法确定出用于传输数据分包的各传输路径，并得出与各传输路径对应的路径标识。其中，路径标识指的是用于唯一标识各传输路径的标识信息，同样也可以用数值、字母或符号等设置路径标识，本实施例对路径标识的具体类型也不做限定。根据线程标识和路径标识的对应关系，例如，传输线程1对应的是传输路径1，传输线程2对应的是传输路径2；从而确定出与各传输路径对应的传输线程。
可见，按照本实施例的方法能够便捷准确地确定出与用于传输数据分包的各传输路径对应的传输线程。
步骤304，统计传输线程中已经完成50％工作量的第一线程数量和已经完成75％工作量的第二线程数量；
步骤306，利用第一线程数量和第二线程数量，通过加权计算得出任务处理程度值。
具体的，预先设置两个预设工作量为50％和75％，然后调用Do(task)指令控制各传输线程运行，统计运行中的传输线程的数量；统计传输线程中已经完成50％工作量的传输线程的数量，记为T50，得出第一线程数量；统计传输线程中已经完成75％工作量的传输线程的数量，记为T75，得出第二线程数量；根据60％*T75+40％*(T50-T75)并取整得出任务处理程度值N。
可见，本实施例根据各传输线程完成各自工作量的情况计算出任务处理程度值，使得计算出的目标分配数量能够确保传输线程的传输任务相对均衡。
可以理解的是，在实际操作中，还可能存在传输线程数量小于传输路径数量的情况；作为优选的实施方式，本实施例在传输线程数量小于传输路径数量时，方法还包括：
调用newTask命令新建传输线程，以使得传输线程数量等于传输路径数量。
在本实施例中，进一步判断传输线程和传输路径的数量是否相同，当传输线程数量小于传输路径数量时，为了使得传输线程数量等于传输路径数量，需要新建传输线程。
具体的，本实施例具体是利用newTask命令新建传输线程，设置线程id(identity)，调用newTask(id)命令生产新的传输线程，即实现新建传输线程。在新建传输线程之后，将更新传输线程数量，再利用更新后的传输线程数量与传输路径数量进行比较，若传输线程数量仍小于传输路径数量，则继续利用newTask命令新建传输线程；直至传输线程数量等于传输路径数量。
可见，本实施例通过调用newTask命令新建传输线程，以使得传输线程数量等于传输路径数量，操作过程便捷易行。
在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例中，方法还包括：
获取与待传输API数据包对应的事件通知API请求；
对事件通知API请求进行认证；
若认证通过，则进入利用目标传输线程将目标分配数量的数据分包传输至数据中台的步骤；
否则，结束进程。
需要说明的是，在本实施例中，是进一步对待传输API数据包进行身份认证。具体的，首先获取与待传输API数据包对应的事件通知API请求，然后对事件通知API请求进行认证；认证方式包括获取事件通知API请求中的用户信息和/或数字签名，通过判断预先存储的认证信息中是否存在当前获取到的用户信息和/或数字签名，从而确定对事件通知API请求的认证是否通过，即对待传输API数据包的身份认证是否通过；本实施例对待传输API数据包进行认证的具体方式不做限定。
具体的，若认证通过，则继续进行利用目标传输线程将目标分配数量的数据分包传输至数据中台的步骤，并且将根据事件通知API请求生成对应的日志，以便后续查询；若认证未通过，则会驳回事件通知API请求，结束进程。
可见，本实施例通过对与待传输API数据包对应的事件通知API请求进行认证，能够进一步保障数据中台接收到的待传输API数据包的安全性。
在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例中，方法还包括：
对待传输API数据包中的待传输数据信息进行统计分析，并在确定出待传输数据信息异常时，发出预警信息。
具体的，在本实施例中，进一步监控数据流，即监控数据中控向数据中台发送的数据分包中的数据信息，也就是对待传输API数据包中的待传输数据信息进行统计分析；统计分析过程包括判断当前传输的待传输API数据包中的待传输数据信息的数据格式是否与历史传输的数据信息的数据格式一致，其中数据格式包括字符类型、数据精度、数据范围以及数据长度等，本实施例对统计分析的具体方式不做限定。
若确定出待传输数据信息正常，则将待传输数据信息与历史待传输数据信息进行整合，并进行存储；若统计分析过程中确定待传输数据信息异常，则生成预警信息，该预警信息可以进一步触发预设提示装置发出报警提示，以提示操作人员能够及时采取措施以对待传输数据信息进行保护。
可见，本实施例通过进一步对待传输API数据包中的待传输数据信息进行统计分析，并在确定出待传输数据信息异常时，发出预警信息，能够及时发现待传输API数据包中的待传输数据信息的异常情况。
在上述实施例的基础上，本实施例对技术方案作了进一步的说明和优化，具体的，本实施例中，方法还包括：
确定出各传输线程传输完各自线程中的数据分包的预估完成时间。
具体的，在本实施例中，是进一步调用Workload(task)指令，对各传输线程进行工作量评估，确定出各传输线程传输完各自线程中的数据分包的预估完成时间。
需要说明的是，在实际操作中，计算预估完成时间可以根据传输线程的当前队列长度、当前处理速率、历史处理速率等因素进行计算，本实施例对具体的计算方式不做限定。
可见，本实施例通过进一步确定出各传输线程传输完各自线程中的数据分包的预估完成时间，能够便于操作人员直观地查看各传输线程的传输情况，从而进一步提升用户使用体验。
应该理解的是，虽然上述实施例涉及的各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述实施例涉及的各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种基于数据中台的API数据传输装置，包括：获取模块401、第一确定模块402、第二确定模块403、第三确定模块404、传输模块405和第四确定模块406，其中：
获取模块401，用于获取待传输API数据包，并将待传输API数据包转换为多个数据分包；
第一确定模块402，用于确定出与用于传输数据分包的各传输路径对应的传输线程，统计传输线程中完成预设工作量的线程数量，并计算出任务处理程度值；
第二确定模块403，用于将任一个传输线程确定为目标传输线程，获取目标传输线程的当前队列长度；
第三确定模块404，用于根据任务处理程度值和当前队列长度确定出目标传输线程的数据分包的目标分配数量；
传输模块405，用于利用目标传输线程将目标分配数量的数据分包传输至数据中台；
第四确定模块406，用于在剩余传输线程中确定目标传输线程，返回根据数据分包的总数和已传输的数据分包的数量确定出当前队列长度的步骤，直至数据分包传输完毕。
本发明实施例提供的一种基于数据中台的API数据传输装置，具有上述一种基于数据中台的API数据传输方法相同的有益效果。
作为一种优选的实施方式，第一确定模块包括：
第一确定子模块，用于确定出与用于传输数据分包的各传输路径对应的传输线程；
统计子子模块，用于统计传输线程中已经完成50％工作量的第一线程数量和已经完成75％工作量的第二线程数量；
计算子子模块，用于利用第一线程数量和第二线程数量，通过加权计算得出任务处理程度值。
作为优选的实施方式，另一种基于数据中台的API数据传输装置还包括：
请求获取模块，用于获取与待传输API数据包对应的事件通知API请求；
认证模块，用于对事件通知API请求进行认证；
执行模块，用于若认证通过，则进入利用目标传输线程将目标分配数量的数据分包传输至数据中台的步骤；否则，结束进程。
作为优选的实施方式，另一种基于数据中台的API数据传输装置还包括：
统计分析模块，用于对待传输API数据包中的待传输数据信息进行统计分析，并在确定出待传输数据信息异常时，发出预警信息。
作为优选的实施方式，另一种基于数据中台的API数据传输装置还包括：
时间估算模块，用于确定出各传输线程传输完各自线程中的数据分包的预估完成时间。
作为优选的实施方式，第一确定子模块包括：
设置单元，用于为各传输线程设置对应的线程标识；
第一确定单元，用于确定出用于传输数据分包的各传输路径，确定出各传输路径的路径标识；
第二确定单元，用于依据线程标识和路径标识的对应关系，确定出与各传输路径对应的传输线程。
作为优选的实施方式，另一种基于数据中台的API数据传输装置还包括：
新建模块，用于在传输线程数量小于传输路径数量时，调用newTask命令新建传输线程，以使得传输线程数量等于传输路径数量。
关于基于数据中台的API数据传输装置的具体限定可以参见上文中对于基于数据中台的API数据传输方法的限定，在此不再赘述。上述基于数据中台的API数据传输装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于数据中台的API数据传输方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待传输API数据包，并将待传输API数据包转换为多个数据分包；
确定出与用于传输数据分包的各传输路径对应的传输线程，统计传输线程中完成预设工作量的线程数量，并计算出任务处理程度值；
将任一个传输线程确定为目标传输线程，获取目标传输线程的当前队列长度；
根据任务处理程度值和当前队列长度确定出目标传输线程的数据分包的目标分配数量；
利用目标传输线程将目标分配数量的数据分包传输至数据中台；
在剩余传输线程中确定目标传输线程，返回根据数据分包的总数和已传输的数据分包的数量确定出当前队列长度的步骤，直至数据分包传输完毕。
本发明实施例提供的一种计算机设备，具有与上述一种基于数据中台的API数据传输方法相同的有益效果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待传输API数据包，并将待传输API数据包转换为多个数据分包；
确定出与用于传输数据分包的各传输路径对应的传输线程，统计传输线程中完成预设工作量的线程数量，并计算出任务处理程度值；
将任一个传输线程确定为目标传输线程，获取目标传输线程的当前队列长度；
根据任务处理程度值和当前队列长度确定出目标传输线程的数据分包的目标分配数量；
利用目标传输线程将目标分配数量的数据分包传输至数据中台；
在剩余传输线程中确定目标传输线程，返回根据数据分包的总数和已传输的数据分包的数量确定出当前队列长度的步骤，直至数据分包传输完毕。
本发明实施例提供的一种计算机可读存储介质，具有与上述一种基于数据中台的API数据传输方法相同的有益效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于数据中台的API数据传输方法，其特征在于，所述方法包括：
获取待传输API数据包，并将所述待传输API数据包转换为多个数据分包；
确定出与用于传输所述数据分包的各传输路径对应的传输线程，统计所述传输线程中完成预设工作量的线程数量，并计算出任务处理程度值；
将任一个传输线程确定为目标传输线程，获取所述目标传输线程的当前队列长度；
根据所述任务处理程度值和所述当前队列长度确定出所述目标传输线程的数据分包的目标分配数量；
利用所述目标传输线程将所述目标分配数量的所述数据分包传输至数据中台；
在剩余传输线程中确定目标传输线程，返回所述根据所述数据分包的总数和已传输的所述数据分包的数量确定出当前队列长度的步骤，直至所述数据分包传输完毕。
2.根据权利要求1所述的方法，其特征在于，所述确定出与用于传输所述数据分包的各传输路径对应的传输线程，统计所述传输线程中完成预设工作量的线程数量，并计算出任务处理程度值的过程，包括：
确定出与用于传输所述数据分包的各所述传输路径对应的传输线程；
统计所述传输线程中已经完成50％工作量的第一线程数量和已经完成75％工作量的第二线程数量；
利用所述第一线程数量和所述第二线程数量，通过加权计算得出所述任务处理程度值。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取与所述待传输API数据包对应的事件通知API请求；
对所述事件通知API请求进行认证；
若认证通过，则进入所述利用所述目标传输线程将所述目标分配数量的所述数据分包传输至数据中台的步骤；
否则，结束进程。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述待传输API数据包中的待传输数据信息进行统计分析，并在确定出所述待传输数据信息异常时，发出预警信息。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定出各所述传输线程传输完各自线程中的所述数据分包的预估完成时间。
6.根据权利要求2所述的方法，其特征在于，所述确定出与用于传输所述数据分包的各所述传输路径对应的传输线程的过程，包括：
为各所述传输线程设置对应的线程标识；
确定出用于传输所述数据分包的各所述传输路径，确定出各所述传输路径的路径标识；
依据所述线程标识和所述路径标识的对应关系，确定出与各所述传输路径对应的传输线程。
7.根据权利要求1至6任一项所述的方法，其特征在于，在传输线程数量小于传输路径数量时，所述方法还包括：
调用newTask命令新建传输线程，以使得所述传输线程数量等于所述传输路径数量。
8.一种基于数据中台的API数据传输装置，其特征在于，所述装置包括：
获取模块，用于获取待传输API数据包，并将所述待传输API数据包转换为多个数据分包；
第一确定模块，用于确定出与用于传输所述数据分包的各传输路径对应的传输线程，统计所述传输线程中完成预设工作量的线程数量，并计算出任务处理程度值；
第二确定模块，用于将任一个传输线程确定为目标传输线程，获取所述目标传输线程的当前队列长度；
第三确定模块，用于根据所述任务处理程度值和所述当前队列长度确定出所述目标传输线程的数据分包的目标分配数量；
传输模块，用于利用所述目标传输线程将所述目标分配数量的所述数据分包传输至数据中台；
第四确定模块，用于在剩余传输线程中确定目标传输线程，返回所述根据所述数据分包的总数和已传输的所述数据分包的数量确定出当前队列长度的步骤，直至所述数据分包传输完毕。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110857641.9A CN113595926B (zh) | 2021-07-28 | 2021-07-28 | 基于数据中台的api数据传输方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110857641.9A CN113595926B (zh) | 2021-07-28 | 2021-07-28 | 基于数据中台的api数据传输方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113595926A true CN113595926A (zh) | 2021-11-02 |
| CN113595926B CN113595926B (zh) | 2023-04-07 |
Family
ID=78251069
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110857641.9A Active CN113595926B (zh) | 2021-07-28 | 2021-07-28 | 基于数据中台的api数据传输方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113595926B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114036031A (zh) * | 2022-01-05 | 2022-02-11 | 阿里云计算有限公司 | 一种企业数字中台中资源服务应用的调度系统和方法 |
| CN115456101A (zh) * | 2022-09-23 | 2022-12-09 | 马建家 | 一种基于数据中台的数据安全传输方法及系统 |
| CN117914775A (zh) * | 2024-03-20 | 2024-04-19 | 苏州元脑智能科技有限公司 | 面向异构计算的高带宽数据传输方法、cpu及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120089812A1 (en) * | 2009-06-12 | 2012-04-12 | Graeme Roy Smith | Shared resource multi-thread processor array |
| CN112685196A (zh) * | 2020-12-24 | 2021-04-20 | 平安普惠企业管理有限公司 | 适用于分布式技术的线程池管理方法、装置、设备及介质 |
| CN112905326A (zh) * | 2021-02-18 | 2021-06-04 | 上海哔哩哔哩科技有限公司 | 任务处理方法及装置 |
| CN113157410A (zh) * | 2021-03-30 | 2021-07-23 | 北京大米科技有限公司 | 线程池调节方法、装置、存储介质及电子设备 |
-
2021
- 2021-07-28 CN CN202110857641.9A patent/CN113595926B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120089812A1 (en) * | 2009-06-12 | 2012-04-12 | Graeme Roy Smith | Shared resource multi-thread processor array |
| CN112685196A (zh) * | 2020-12-24 | 2021-04-20 | 平安普惠企业管理有限公司 | 适用于分布式技术的线程池管理方法、装置、设备及介质 |
| CN112905326A (zh) * | 2021-02-18 | 2021-06-04 | 上海哔哩哔哩科技有限公司 | 任务处理方法及装置 |
| CN113157410A (zh) * | 2021-03-30 | 2021-07-23 | 北京大米科技有限公司 | 线程池调节方法、装置、存储介质及电子设备 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114036031A (zh) * | 2022-01-05 | 2022-02-11 | 阿里云计算有限公司 | 一种企业数字中台中资源服务应用的调度系统和方法 |
| CN114036031B (zh) * | 2022-01-05 | 2022-06-24 | 阿里云计算有限公司 | 一种企业数字中台中资源服务应用的调度系统和方法 |
| CN115456101A (zh) * | 2022-09-23 | 2022-12-09 | 马建家 | 一种基于数据中台的数据安全传输方法及系统 |
| CN115456101B (zh) * | 2022-09-23 | 2023-09-12 | 上海豹云网络信息服务有限公司 | 一种基于数据中台的数据安全传输方法及系统 |
| CN117914775A (zh) * | 2024-03-20 | 2024-04-19 | 苏州元脑智能科技有限公司 | 面向异构计算的高带宽数据传输方法、cpu及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113595926B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113595926B (zh) | 基于数据中台的api数据传输方法、装置、设备和介质 | |
| CN108776934B (zh) | 分布式数据计算方法、装置、计算机设备及可读存储介质 | |
| US9218203B2 (en) | Packet scheduling in a multiprocessor system using inter-core switchover policy | |
| US8572621B2 (en) | Selection of server for relocation of application program based on largest number of algorithms with identical output using selected server resource criteria | |
| CN107729137B (zh) | 服务器、区块链验签解密的方法及存储介质 | |
| CN106095554A (zh) | 在日间联机阶段进行批量数据处理的方法及装置 | |
| CN105677451A (zh) | 一种用于多进程的负载均衡的方法和设备 | |
| CN109343958B (zh) | 计算资源分配方法、装置、电子设备、存储介质 | |
| CN115118784A (zh) | 算力资源的调度方法、装置及系统 | |
| US20230066178A1 (en) | Ai intelligentialization based on signaling interaction | |
| CN117934075A (zh) | 电子权益发放方法、装置、电子设备和存储介质 | |
| CN108418730B (zh) | 网络流量测试方法、装置、设备以及计算机可读存储介质 | |
| CN107634978B (zh) | 一种资源调度方法及装置 | |
| CN104301944A (zh) | 资源能力分配方法和设备 | |
| CN114302351B (zh) | 短信业务处理方法、装置、计算机设备和存储介质 | |
| CN114090604A (zh) | 请求处理方法及装置 | |
| CN110585717B (zh) | 一种信息处理方法及装置 | |
| CN109062707A (zh) | 电子装置及其限制进程间通信的方法、存储介质 | |
| CN113747506A (zh) | 一种资源调度方法、装置和网络系统 | |
| CN116700632B (zh) | 一种高可靠的金融信息数据存储方法 | |
| CN110784344B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN114356513B (zh) | 用于集群模式的任务处理方法及装置 | |
| CN109062706A (zh) | 电子装置及其限制进程间通信的方法、存储介质 | |
| CN114760362B (zh) | 网络接入请求的调度方法、系统、电子装置和存储介质 | |
| CN116909768B (zh) | 一种基于工作流的应用程序中对用户输入和交互建模系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230810 Address after: 518000 building 501, 502, 601, 602, building D, wisdom Plaza, Qiaoxiang Road, Gaofa community, Shahe street, Nanshan District, Shenzhen City, Guangdong Province Patentee after: China Southern Power Grid Digital Platform Technology (Guangdong) Co.,Ltd. Address before: Room 86, room 406, No.1, Yichuang street, Zhongxin Guangzhou Knowledge City, Huangpu District, Guangzhou City, Guangdong Province Patentee before: Southern Power Grid Digital Grid Research Institute Co.,Ltd. |