CN111078323A - 基于协程的数据处理方法、装置、计算机设备及存储介质 - Google Patents
基于协程的数据处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111078323A CN111078323A CN201910968930.9A CN201910968930A CN111078323A CN 111078323 A CN111078323 A CN 111078323A CN 201910968930 A CN201910968930 A CN 201910968930A CN 111078323 A CN111078323 A CN 111078323A
- Authority
- CN
- China
- Prior art keywords
- coroutine
- calculation
- task
- tasks
- dynamic link
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了基于协程的数据处理方法、装置、计算机设备及存储介质。该方法包括接收上传端所发送的任务集合数据；统计获取任务集合数据中计算任务的任务总个数，以创建与任务总个相同个数的协程，将每一协程中对应分配一个计算任务；根据各协程对应分配的计算任务生成对应的动态链接库文件；若检测到与动态链接库文件相对应JNI接口的调用指令，根据各动态链接库文件分别启动协程，通过个协程对任务集合数据中各计算任务分别进行运算，得到与各计算任务对应的计算结果，以组成计算结果集合；将计算结果集合发送至上传端。该方法实现了由协程来参与计算以降低服务器中I/O阻塞，也降低了服务器中CPU的使用率，提高了计算效率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于协程的数据处理方法、装置、计算机设备及存储介质。
背景技术
目前，当服务器接收到了大量的数据计算处理任务时，由于服务器内只能执行线程，一旦遇到I/O操作(即数据的输入/输出)，不会从应用程序级别控制切换以提高计算效率。若数据计算处理任务有涉及到大量的I/O操作，这就导致在服务器中使用线程进行计算，无法提高计算效率。
发明内容
本发明实施例提供了一种基于协程的数据处理方法、装置、计算机设备及存储介质，旨在解决现有技术中服务器接收到了大量的数据计算处理任务通过执行线程来计算时，涉及到大量的I/O操作，导致计算效率低下的问题。
第一方面，本发明实施例提供了一种基于协程的数据处理方法，其包括：
接收上传端所发送的任务集合数据；其中，所述任务集合数据包括多个计算任务；
统计获取所述任务集合数据中计算任务的任务总个数，以创建与所述任务总个数相同个数的协程，将每一协程中对应分配一个计算任务；
根据各协程对应分配的计算任务生成对应的动态链接库文件；
若检测到与动态链接库文件相对应JNI接口的调用指令，根据各动态链接库文件分别启动协程，通过各协程对所述任务集合数据中各计算任务分别进行运算，得到与所述任务集合数据中各计算任务对应的计算结果，以组成计算结果集合；其中，所述JNI接口为Java本地接口；以及
将所述计算结果集合发送至上传端。
第二方面，本发明实施例提供了一种基于协程的数据处理装置，其包括：
数据接收单元，用于接收上传端所发送的任务集合数据；其中，所述任务集合数据包括多个计算任务；
协程创建单元，用于统计获取所述任务集合数据中计算任务的任务总个数，以创建与所述任务总个数相同个数的协程，将每一协程中对应分配一个计算任务；
动态链接库文件生成单元，用于根据各协程对应分配的计算任务生成对应的动态链接库文件；
计算结果获取单元，用于若检测到与动态链接库文件相对应JNI接口的调用指令，根据各动态链接库文件分别启动协程，通过各协程对所述任务集合数据中各计算任务分别进行运算，得到与所述任务集合数据中各计算任务对应的计算结果，以组成计算结果集合；其中，所述JNI接口为Java本地接口；以及
结果发送单元，用于将所述计算结果集合发送至上传端。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于协程的数据处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于协程的数据处理方法。
本发明实施例提供了一种基于协程的数据处理方法、装置、计算机设备及存储介质，实现了由协程来参与计算以降低服务器中I/O阻塞，也降低了服务器中CPU的使用率，提高了计算效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于协程的数据处理方法的应用场景示意图；
图2为本发明实施例提供的基于协程的数据处理方法的流程示意图；
图3为本发明实施例提供的基于协程的数据处理方法的另一流程示意图；
图4为本发明实施例提供的基于协程的数据处理方法的子流程示意图；
图5为本发明实施例提供的基于协程的数据处理方法的另一子流程示意图；
图6为本发明实施例提供的基于协程的数据处理装置的示意性框图；
图7为本发明实施例提供的基于协程的数据处理装置的另一示意性框图；
图8为本发明实施例提供的基于协程的数据处理装置的子单元示意性框图；
图9为本发明实施例提供的基于协程的数据处理装置的另一子单元示意性框图；
图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的基于协程的数据处理方法的应用场景示意图；图2为本发明实施例提供的基于协程的数据处理方法的流程示意图，该基于协程的数据处理方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。
如图2所示，该方法包括步骤S110～S150。
S110、接收上传端所发送的任务集合数据；其中，所述任务集合数据包括多个计算任务。
在本实施例中，当服务器接收到了由上传端(如智能手机、平板电脑、台式电脑等)所上传的大量的计算任务时，若在服务器中采用多线程的方式进行并发运算，由于线程是有内核进行调度，而且有CPU(即中央处理单元)时间片的概念，进行抢占式调度。如果线程数过多，就会导致频繁的上下文切换，这些CPU时间是一个额外的耗费。故当服务器接收了上传端所发送的任务集合数据，后续是启用协程来处理，并非启动线程来处理。
S120、统计获取所述任务集合数据中计算任务的任务总个数，以创建与所述任务总个数相同个数的协程，将每一协程中对应分配一个计算任务。
在本实施例中，为了有效降低服务器中CPU的I/O操作，此时可以根据所述任务集合数据中的计算任务总个数以创建相同个数的协程。例如所述任务集合数据中的计算任务总个数为10个，则创建10个协程。一般一个计算任务的逻辑是用函数或方法实现，具体实施时只需在函数或者方法前面加go关键字就可创建一个协程。即每一计算任务对应的函数或方法前增加一个go关键词，即可创建与该计算任务对应的协程。
在Golang(即Go语言，是谷歌2009发布的第二款开源编程语言，其专门针对多处理器系统应用程序的编程进行了优化，使用Go编译的程序可以媲美C或C++代码的速度，而且更加安全、支持并行进程)中，goroutine就是协程。不同的是，Golang在runtime(表示运行时刻，即一个程序在运行的状态)、系统调用等多方面对goroutine调度进行了封装和处理，当遇到长时间执行或者进行系统调用时，会主动把当前goroutine的CPU(P)转让出去，让其他goroutine能被调度并执行，也就是Golang从语言层面支持了协程。Golang的一大特色就是从语言层面原生支持协程，在函数或者方法前面加go关键字就可创建一个协程。
在资源消耗上，协程则是极低的。一个线程的内存在MB级别，而协程只需要KB级别。而且线程的调度需要内核态与用户的频繁切入切出，资源消耗也不低。可见，协程调度机制无法实现公平调度，而且协程的资源开销是非常低的，一台普通的服务器就可以支持百万协程。
S130、根据各协程对应分配的计算任务生成对应的动态链接库文件。
在本实施例中，即获取各协程，并对应的添加至DLL工程以生成动态链接库文件。其中，DLL工程即Win32Dynamic-Link Library工程，上述生成的各协程均添加到对应的一个DLL工程中，然后创建源文件引用各协程以实现该协程中本地函数的功能。此时，将每一协程封装为对应的一个动态链接库文件，实现了各计算任务的并行运算，即分别执行各动态链接库文件即可。
在一实施例中，步骤S130之后还包括：
根据每一协程对应创建一个源文件，以引用对应的协程。
在本实施例中，例如生成了10个协程，此时创建10个DLL工程，每一协程添加至对应的一个DLL工程中。之后再创建10个源文件，每一源文件只引用一个协程，这样即可实现协程中本地函数的功能。
S140、若检测到与动态链接库文件相对应JNI接口的调用指令，根据各动态链接库文件分别启动协程，通过各协程对所述任务集合数据中各计算任务分别进行运算，得到与所述任务集合数据中各计算任务对应的计算结果，以组成计算结果集合；其中，所述JNI接口为Java本地接口。
在本实施例中，将每一计算任务封装为对应的动态链接库文件后，为了便于调用，此时需根据动态链接库文件配置一个统一调用接口。由于服务器中部署的是Java语言编写的系统，而该系统是无法直接调用动态链接库的，故此时需要配置一个适用于该系统的接口以调用动态链接库。具体的是在服务器中配置一个JNI接口(表示Java本地接口)，通过JNI接口来调用动态链接库文件，从而根据各动态链接库文件分别启动协程，通过各协程对所述任务集合数据中各计算任务分别进行运算，得到与所述任务集合数据中各计算任务对应的计算结果，以组成计算结果集合。通过JNI接口，实现了服务器对动态链接库文件的调用，从而通过协程来并发运算，提高了计算效率。
在一实施例中，如图3所示，步骤S140之前还包括：
S1401、配置用于调用所述动态链接库文件的JNI接口。
在本实施例中，在服务器中为了实现对动态链接库文件的调用，需预先配置JNI接口，即采用JNI技术封装一层接口供服务器中的Java调用。
在一实施例中，如图4所示，步骤S1401包括：
S14011、创建Java类，定义Java类中的一个本地方法；所述本地方法用于调用动态链接库；
S14012、通过javah指令生成与所述本地方法对应的C头文件；
S14013、将所述C头文件进行编译得JNI接口。
在本实施例中，先创建Java类，定义Java类中的一个本地方法；具体实施时，通过native关键字修饰的方法即为Java类中的一个本地方法，该本地方法用于调用动态链接库。
然后通过javah指令生成本地方法对应的C头文件，即在DOS窗口中进入DLL工程所在目录，然后执行javah com.test.TestNative命令，执行完之后就会在当前目录生成一个后缀名为.h的头文件，如com_test_TestNative.h(这个头文件是根据包名和类名来命名的)，当前目录生成一个后缀名为.h的头文件即为与所述本地方法对应的C头文件。
最后对所述C头文件进行编译得JNI接口，该JNI接口对应的JNI函数名称分为三部分：首先是Java关键字，供Java虚拟机识别；然后是调用者类名称(全限定的类名，其中用下划线代替名称分隔符)；最后是对应的方法名称，各段名称之间用下划线分割。JNI函数的参数也由三部分组成：首先是JNIEnv*,是一个指向JNI运行环境的指针；第二个参数随本地方法是静态还是非静态而有所不同(非静态本地方法的第二个参数是对对象的引用，而静态本地方法的第二个参数是对其Java类的引用)；其余的参数对应通常Java方法的参数，参数类型需要根据一定规则进行映射。
在一实施例中，如图5所示，步骤S140包括：
S141、创建个数与协程的总个数相同的channel变量，将每一channel变量与唯一一个协程进行对应映射；其中，channel变量是用于协程之间交换数据而创建的变量；
S142、若有协程中对应的计算任务完成计算得到计算结果，将计算结果写入对应的channel变量；
S143、判断各协程中的计算任务是否均完成计算；
S144、若各协程中的计算任务均完成计算，以各协程对应的计算结果组成计算结果集合。
在本实施例中，若每一动态链接库文件中对应封装了一个协程，此时需创建与协程个数相同的channel变量，将每一channel变量与唯一一个协程进行对应映射；其中，channel变量是用于协程之间交换数据而创建的变量。
当每一个协程(即goroutine)运行后且完成了对计算任务的计算时，将对应得到的计算结果存储至与协程对应的channel变量。在这个channel被读取前，这个操作是阻塞的。在所有的goroutine启动完成后，依次从20个channel中读取数据，在对应的channel写入数据前，这个操作也是阻塞的。这样，就用channel变量实现了类似锁的功能，并保证了所有goroutine完成后才返回计算结果组成的计算结果集合至上传端。
在一实施例中，如图5所示，步骤S142之后还包括：
S1421、将各channel变量存储于预先创建的数组中。
步骤S143之后还包括：
S145、若有协程中的计算任务未完成计算，将各channel变量保持锁定状态，等待预设的等待时间，返回执行步骤S143。
在本实施例中，当创建个数与协程的总个数相同的channel变量后，可以将这些channel变量均集中存储于预先创建的数组中，以避免channel变量是分散式的存储。
当协程中有计算任务未完成，此时该数组中的channel变量仍保持锁定状态，在等待了预设的等待时间(例如设置等待时间为0.5-2s)后，再次返回执行步骤S143以判断各协程中的计算任务是否均完成计算，直到所有的计算任务完成计算后，以各协程对应的计算结果组成计算结果集合。通过上述判断方式，能确保channel变量在合适的时间解锁，保证数据传输过程的顺畅进行。
该方法实现了由协程来参与计算以降低服务器中I/O阻塞，也降低了服务器中CPU的使用率，提高了计算效率。
本发明实施例还提供一种基于协程的数据处理装置，该基于协程的数据处理装置用于执行前述基于协程的数据处理方法的任一实施例。具体地，请参阅图6，图6是本发明实施例提供的基于协程的数据处理装置的示意性框图。该基于协程的数据处理装置100可以配置于服务器中。
如图6所示，基于协程的数据处理装置100包括数据接收单元110、协程创建单元120、动态链接库文件生成单元130、计算结果获取单元140、结果发送单元150。
数据接收单元110，用于接收上传端所发送的任务集合数据；其中，所述任务集合数据包括多个计算任务。
在本实施例中，当服务器接收到了由上传端(如智能手机、平板电脑、台式电脑等)所上传的大量的计算任务时，若在服务器中采用多线程的方式进行并发运算，由于线程是有内核进行调度，而且有CPU(即中央处理单元)时间片的概念，进行抢占式调度。如果线程数过多，就会导致频繁的上下文切换，这些CPU时间是一个额外的耗费。故当服务器接收了上传端所发送的任务集合数据，后续是启用协程来处理，并非启动线程来处理。
协程创建单元120，用于统计获取所述任务集合数据中计算任务的任务总个数，以创建与所述任务总个数相同个数的协程，将每一协程中对应分配一个计算任务。
在本实施例中，为了有效降低服务器中CPU的I/O操作，此时可以根据所述任务集合数据中的计算任务总个数以创建相同个数的协程。例如所述任务集合数据中的计算任务总个数为10个，则创建10个协程。一般一个计算任务的逻辑是用函数或方法实现，具体实施时只需在函数或者方法前面加go关键字就可创建一个协程。即每一计算任务对应的函数或方法前增加一个go关键词，即可创建与该计算任务对应的协程。
在Golang(即Go语言，是谷歌2009发布的第二款开源编程语言，其专门针对多处理器系统应用程序的编程进行了优化，使用Go编译的程序可以媲美C或C++代码的速度，而且更加安全、支持并行进程)中，goroutine就是协程。不同的是，Golang在runtime(表示运行时刻，即一个程序在运行的状态)、系统调用等多方面对goroutine调度进行了封装和处理，当遇到长时间执行或者进行系统调用时，会主动把当前goroutine的CPU(P)转让出去，让其他goroutine能被调度并执行，也就是Golang从语言层面支持了协程。Golang的一大特色就是从语言层面原生支持协程，在函数或者方法前面加go关键字就可创建一个协程。
在资源消耗上，协程则是极低的。一个线程的内存在MB级别，而协程只需要KB级别。而且线程的调度需要内核态与用户的频繁切入切出，资源消耗也不低。可见，协程调度机制无法实现公平调度，而且协程的资源开销是非常低的，一台普通的服务器就可以支持百万协程。
动态链接库文件生成单元130，用于根据各协程对应分配的计算任务生成对应的动态链接库文件。
在本实施例中，即获取各协程，并对应的添加至DLL工程以生成动态链接库文件。其中，DLL工程即Win32Dynamic-Link Library工程，上述生成的各协程均添加到对应的一个DLL工程中，然后创建源文件引用各协程以实现该协程中本地函数的功能。此时，将每一协程封装为对应的一个动态链接库文件，实现了各计算任务的并行运算，即分别执行各动态链接库文件即可。
在一实施例中，基于协程的数据处理装置100还包括：
源文件创建单元，用于根据每一协程对应创建一个源文件，以引用对应的协程。
在本实施例中，例如生成了10个协程，此时创建10个DLL工程，每一协程添加至对应的一个DLL工程中。之后再创建10个源文件，每一源文件只引用一个协程，这样即可实现协程中本地函数的功能。
计算结果获取单元140，用于若检测到与动态链接库文件相对应JNI接口的调用指令，根据各动态链接库文件分别启动协程，通过各协程对所述任务集合数据中各计算任务分别进行运算，得到与所述任务集合数据中各计算任务对应的计算结果，以组成计算结果集合；其中，所述JNI接口为Java本地接口。
在本实施例中，将每一计算任务封装为对应的动态链接库文件后，为了便于调用，此时需根据动态链接库文件配置一个统一调用接口。由于服务器中部署的是Java语言编写的系统，而该系统是无法直接调用动态链接库的，故此时需要配置一个适用于该系统的接口以调用动态链接库。具体的是在服务器中配置一个JNI接口(表示Java本地接口)，通过JNI接口来调用动态链接库文件，从而根据各动态链接库文件分别启动协程，通过各协程对所述任务集合数据中各计算任务分别进行运算，得到与所述任务集合数据中各计算任务对应的计算结果，以组成计算结果集合。通过JNI接口，实现了服务器对动态链接库文件的调用，从而通过协程来并发运算，提高了计算效率。
在一实施例中，如图7所示，基于协程的数据处理装置100还包括：
JNI接口配置单元1401，用于配置用于调用所述动态链接库文件的JNI接口。
在本实施例中，在服务器中为了实现对动态链接库文件的调用，需预先配置JNI接口，即采用JNI技术封装一层接口供服务器中的Java调用。
在一实施例中，如图8所示，JNI接口配置单元1401包括：
本地方法定义单元14011，用于创建Java类，定义Java类中的一个本地方法；所述本地方法用于调用动态链接库；
C头文件获取单元14012，用于通过javah指令生成与所述本地方法对应的C头文件；
编译单元14013，用于将所述C头文件进行编译得JNI接口。
在本实施例中，先创建Java类，定义Java类中的一个本地方法；具体实施时，通过native关键字修饰的方法即为Java类中的一个本地方法，该本地方法用于调用动态链接库。
然后通过javah指令生成本地方法对应的C头文件，即在DOS窗口中进入DLL工程所在目录，然后执行javah com.test.TestNative命令，执行完之后就会在当前目录生成一个后缀名为.h的头文件，如com_test_TestNative.h(这个头文件是根据包名和类名来命名的)，当前目录生成一个后缀名为.h的头文件即为与所述本地方法对应的C头文件。
最后对所述C头文件进行编译得JNI接口，该JNI接口对应的JNI函数名称分为三部分：首先是Java关键字，供Java虚拟机识别；然后是调用者类名称(全限定的类名，其中用下划线代替名称分隔符)；最后是对应的方法名称，各段名称之间用下划线分割。JNI函数的参数也由三部分组成：首先是JNIEnv*,是一个指向JNI运行环境的指针；第二个参数随本地方法是静态还是非静态而有所不同(非静态本地方法的第二个参数是对对象的引用，而静态本地方法的第二个参数是对其Java类的引用)；其余的参数对应通常Java方法的参数，参数类型需要根据一定规则进行映射。
在一实施例中，如图9所示，计算结果获取单元140包括：
变量创建单元141，用于创建个数与协程的总个数相同的channel变量，将每一channel变量与唯一一个协程进行对应映射；其中，channel变量是用于协程之间交换数据而创建的变量；
结果写入单元142，用于若有协程中对应的计算任务完成计算得到计算结果，将计算结果写入对应的channel变量；
计算判断单元143，用于判断各协程中的计算任务是否均完成计算；
计算结果组合单元144、若各协程中的计算任务均完成计算，以各协程对应的计算结果组成计算结果集合。
在本实施例中，若每一动态链接库文件中对应封装了一个协程，此时需创建与协程个数相同的channel变量，将每一channel变量与唯一一个协程进行对应映射；其中，channel变量是用于协程之间交换数据而创建的变量。
当每一个协程(即goroutine)运行后且完成了对计算任务的计算时，将对应得到的计算结果存储至与协程对应的channel变量。在这个channel被读取前，这个操作是阻塞的。在所有的goroutine启动完成后，依次从20个channel中读取数据，在对应的channel写入数据前，这个操作也是阻塞的。这样，就用channel变量实现了类似锁的功能，并保证了所有goroutine完成后才返回计算结果组成的计算结果集合至上传端。
在一实施例中，如图9所示，计算结果获取单元140还包括：
定向存储单元1421，用于将各channel变量存储于预先创建的数组中。
计算结果获取单元140还包括：
变量锁定单元145，用于若有协程中的计算任务未完成计算，将各channel变量保持锁定状态，等待预设的等待时间，返回执行判断各协程中的计算任务是否均完成计算的步骤。
在本实施例中，当创建个数与协程的总个数相同的channel变量后，可以将这些channel变量均集中存储于预先创建的数组中，以避免channel变量是分散式的存储。
当协程中有计算任务未完成，此时该数组中的channel变量仍保持锁定状态，在等待了预设的等待时间(例如设置等待时间为0.5-2s)后，再次返回执行步骤S143以判断各协程中的计算任务是否均完成计算，直到所有的计算任务完成计算后，以各协程对应的计算结果组成计算结果集合。通过上述判断方式，能确保channel变量在合适的时间解锁，保证数据传输过程的顺畅进行。
该装置实现了由协程来参与计算以降低服务器中I/O阻塞，也降低了服务器中CPU的使用率，提高了计算效率。
上述基于协程的数据处理装置可以实现为计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10，图10是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图10，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于协程的数据处理方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于协程的数据处理方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图10中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的基于协程的数据处理方法。
本领域技术人员可以理解，图10中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图10所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的基于协程的数据处理方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于协程的数据处理方法，其特征在于，包括：
接收上传端所发送的任务集合数据；其中，所述任务集合数据包括多个计算任务；
统计获取所述任务集合数据中计算任务的任务总个数，以创建与所述任务总个数相同个数的协程，将每一协程中对应分配一个计算任务；
根据各协程对应分配的计算任务生成对应的动态链接库文件；
若检测到与动态链接库文件相对应JNI接口的调用指令，根据各动态链接库文件分别启动协程，通过各协程对所述任务集合数据中各计算任务分别进行运算，得到与所述任务集合数据中各计算任务对应的计算结果，以组成计算结果集合；其中，所述JNI接口为Java本地接口；以及
将所述计算结果集合发送至上传端。
2.根据权利要求1所述的基于协程的数据处理方法，其特征在于，所述若检测到与动态链接库文件相对应JNI接口的调用指令，根据各动态链接库文件分别启动协程，通过各协程对所述任务集合数据中各计算任务分别进行运算，得到与所述任务集合数据中各计算任务对应的计算结果，以组成计算结果集合之前，还包括：
配置用于调用所述动态链接库文件的JNI接口。
3.根据权利要求2所述的基于协程的数据处理方法，其特征在于，所述配置用于调用所述动态链接库文件的JNI接口，包括：
创建Java类，定义Java类中的一个本地方法；所述本地方法用于调用动态链接库；
通过javah指令生成与所述本地方法对应的C头文件；
将所述C头文件进行编译得JNI接口。
4.根据权利要求1所述的基于协程的数据处理方法，其特征在于，所述根据各协程对应分配的计算任务生成对应的动态链接库文件之后，还包括：
根据每一协程对应创建一个源文件，以引用对应的协程。
5.根据权利要求1所述的基于协程的数据处理方法，其特征在于，所述根据各动态链接库文件分别启动协程，通过各协程对所述任务集合数据中各计算任务分别进行运算，得到与所述任务集合数据中各计算任务对应的计算结果，以组成计算结果集合，包括：
创建个数与协程的总个数相同的channel变量，将每一channel变量与唯一一个协程进行对应映射；其中，channel变量是用于协程之间交换数据而创建的变量；
若有协程中对应的计算任务完成计算得到计算结果，将计算结果写入对应的channel变量；
判断各协程中的计算任务是否均完成计算；
若各协程中的计算任务均完成计算，以各协程对应的计算结果组成计算结果集合。
6.根据权利要求5所述的基于协程的数据处理方法，其特征在于，所述创建个数与协程的总个数相同的channel变量，将每一channel变量与唯一一个协程进行对应映射之后，还包括：
将各channel变量存储于预先创建的数组中；
所述判断各协程中的计算任务是否均完成计算之后，还包括：
若有协程中的计算任务未完成计算，将各channel变量保持锁定状态，等待预设的等待时间，返回执行判断各协程中的计算任务是否均完成计算的步骤。
7.一种基于协程的数据处理装置，其特征在于，包括：
数据接收单元，用于接收上传端所发送的任务集合数据；其中，所述任务集合数据包括多个计算任务；
协程创建单元，用于统计获取所述任务集合数据中计算任务的任务总个数，以创建与所述任务总个数相同个数的协程，将每一协程中对应分配一个计算任务；
动态链接库文件生成单元，用于根据各协程对应分配的计算任务生成对应的动态链接库文件；
计算结果获取单元，用于若检测到与动态链接库文件相对应JNI接口的调用指令，根据各动态链接库文件分别启动协程，通过各协程对所述任务集合数据中各计算任务分别进行运算，得到与所述任务集合数据中各计算任务对应的计算结果，以组成计算结果集合；其中，所述JNI接口为Java本地接口；以及
结果发送单元，用于将所述计算结果集合发送至上传端。
8.根据权利要求7所述的基于协程的数据处理装置，其特征在于，还包括：
JNI接口配置单元，用于配置用于调用所述动态链接库文件的JNI接口。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的基于协程的数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至6任一项所述的基于协程的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910968930.9A CN111078323A (zh) | 2019-10-12 | 2019-10-12 | 基于协程的数据处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910968930.9A CN111078323A (zh) | 2019-10-12 | 2019-10-12 | 基于协程的数据处理方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111078323A true CN111078323A (zh) | 2020-04-28 |
Family
ID=70310296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910968930.9A Pending CN111078323A (zh) | 2019-10-12 | 2019-10-12 | 基于协程的数据处理方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111078323A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111782482A (zh) * | 2020-07-16 | 2020-10-16 | 平安国际智慧城市科技股份有限公司 | 接口压力测试方法及相关设备 |
| CN111796922A (zh) * | 2020-07-10 | 2020-10-20 | 四川长虹电器股份有限公司 | 一种基于编程语言分批调度任务的方法 |
| CN112039987A (zh) * | 2020-08-28 | 2020-12-04 | 平安科技（深圳）有限公司 | 区块链中区块的处理方法、装置、节点设备及存储介质 |
| CN112181600A (zh) * | 2020-10-21 | 2021-01-05 | 朱领军 | 一种云计算资源管理方法及系统 |
| CN112612615A (zh) * | 2020-12-28 | 2021-04-06 | 中孚安全技术有限公司 | 基于多线程内存分配和上下文调度的数据处理方法及系统 |
| CN113485840A (zh) * | 2021-07-27 | 2021-10-08 | 中国银行股份有限公司 | 基于Go语言的多任务并行处理装置及方法 |
| CN114466151A (zh) * | 2022-04-11 | 2022-05-10 | 武汉中科通达高新技术股份有限公司 | 国标相机的视频存储系统、计算机设备及存储介质 |
| CN115250276A (zh) * | 2021-04-27 | 2022-10-28 | 北京同邦卓益科技有限公司 | 分布式系统及数据处理的方法和装置 |
| CN117591436A (zh) * | 2024-01-18 | 2024-02-23 | 南京研利科技有限公司 | 一种Go源码的可观测性数据获取方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1967487A (zh) * | 2005-11-18 | 2007-05-23 | Sap股份公司 | 使用协程和线程的协同调度 |
| CN105512329A (zh) * | 2015-12-24 | 2016-04-20 | 上海携程商务有限公司 | 基于go语言的动态切图系统 |
| CN108123820A (zh) * | 2016-11-29 | 2018-06-05 | 北京神州泰岳软件股份有限公司 | 一种网络设备信息采集方法和装置 |
| CN108156181A (zh) * | 2018-02-01 | 2018-06-12 | 杭州安恒信息技术股份有限公司 | 一种基于协程异步io的漏洞探测方法及其漏洞扫描系统 |
| CN109298922A (zh) * | 2018-08-30 | 2019-02-01 | 百度在线网络技术（北京）有限公司 | 并行任务处理方法、协程框架、设备、介质和无人车 |
| CN110109741A (zh) * | 2019-05-09 | 2019-08-09 | 北京旷视科技有限公司 | 循环任务的管理方法、装置、电子设备及存储介质 |
| CN110309630A (zh) * | 2019-06-28 | 2019-10-08 | 南京冰鉴信息科技有限公司 | 一种Java代码加密方法及装置 |
-
2019
- 2019-10-12 CN CN201910968930.9A patent/CN111078323A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1967487A (zh) * | 2005-11-18 | 2007-05-23 | Sap股份公司 | 使用协程和线程的协同调度 |
| CN105512329A (zh) * | 2015-12-24 | 2016-04-20 | 上海携程商务有限公司 | 基于go语言的动态切图系统 |
| CN108123820A (zh) * | 2016-11-29 | 2018-06-05 | 北京神州泰岳软件股份有限公司 | 一种网络设备信息采集方法和装置 |
| CN108156181A (zh) * | 2018-02-01 | 2018-06-12 | 杭州安恒信息技术股份有限公司 | 一种基于协程异步io的漏洞探测方法及其漏洞扫描系统 |
| CN109298922A (zh) * | 2018-08-30 | 2019-02-01 | 百度在线网络技术（北京）有限公司 | 并行任务处理方法、协程框架、设备、介质和无人车 |
| CN110109741A (zh) * | 2019-05-09 | 2019-08-09 | 北京旷视科技有限公司 | 循环任务的管理方法、装置、电子设备及存储介质 |
| CN110309630A (zh) * | 2019-06-28 | 2019-10-08 | 南京冰鉴信息科技有限公司 | 一种Java代码加密方法及装置 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111796922A (zh) * | 2020-07-10 | 2020-10-20 | 四川长虹电器股份有限公司 | 一种基于编程语言分批调度任务的方法 |
| CN111782482A (zh) * | 2020-07-16 | 2020-10-16 | 平安国际智慧城市科技股份有限公司 | 接口压力测试方法及相关设备 |
| CN112039987A (zh) * | 2020-08-28 | 2020-12-04 | 平安科技（深圳）有限公司 | 区块链中区块的处理方法、装置、节点设备及存储介质 |
| CN112039987B (zh) * | 2020-08-28 | 2022-05-20 | 平安科技（深圳）有限公司 | 区块链中区块的处理方法、装置、节点设备及存储介质 |
| CN112181600A (zh) * | 2020-10-21 | 2021-01-05 | 朱领军 | 一种云计算资源管理方法及系统 |
| CN112181600B (zh) * | 2020-10-21 | 2021-07-13 | 甘肃柏隆电子商务科技有限责任公司 | 一种云计算资源管理方法及系统 |
| CN112612615A (zh) * | 2020-12-28 | 2021-04-06 | 中孚安全技术有限公司 | 基于多线程内存分配和上下文调度的数据处理方法及系统 |
| CN112612615B (zh) * | 2020-12-28 | 2022-12-06 | 中孚安全技术有限公司 | 基于多线程内存分配和上下文调度的数据处理方法及系统 |
| CN115250276A (zh) * | 2021-04-27 | 2022-10-28 | 北京同邦卓益科技有限公司 | 分布式系统及数据处理的方法和装置 |
| CN113485840A (zh) * | 2021-07-27 | 2021-10-08 | 中国银行股份有限公司 | 基于Go语言的多任务并行处理装置及方法 |
| CN114466151A (zh) * | 2022-04-11 | 2022-05-10 | 武汉中科通达高新技术股份有限公司 | 国标相机的视频存储系统、计算机设备及存储介质 |
| CN117591436A (zh) * | 2024-01-18 | 2024-02-23 | 南京研利科技有限公司 | 一种Go源码的可观测性数据获取方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111078323A (zh) | 基于协程的数据处理方法、装置、计算机设备及存储介质 | |
| US9996394B2 (en) | Scheduling accelerator tasks on accelerators using graphs | |
| US9009711B2 (en) | Grouping and parallel execution of tasks based on functional dependencies and immediate transmission of data results upon availability | |
| US9292359B2 (en) | System and method for memory management | |
| CN110851285B (zh) | 一种基于gpu虚拟化的资源复用方法、装置及设备 | |
| CN115098412B (zh) | 外设访问控制器、数据访问装置及对应方法、介质和芯片 | |
| US8954969B2 (en) | File system object node management | |
| CN111858056B (zh) | 任务调度方法、装置、计算机设备和存储介质 | |
| CN107820605B (zh) | 用于动态低延迟优化的系统和方法 | |
| CN116467061A (zh) | 一种任务执行的方法、装置、存储介质及电子设备 | |
| KR102238600B1 (ko) | 스케쥴러 컴퓨팅 장치, 그것을 포함하는 분산 컴퓨팅 시스템의 데이터 노드 및 그것의 방법 | |
| CN114791854B (zh) | 用户态虚拟机任务的调度方法、装置、设备及存储介质 | |
| CN113296788B (zh) | 指令调度方法、装置、设备及存储介质 | |
| WO2022252091A1 (zh) | 一种计算模型的处理方法及装置 | |
| CN114741165A (zh) | 数据处理平台的处理方法、计算机设备及存储装置 | |
| CN110333870B (zh) | Simulink模型变量分配的处理方法、装置及设备 | |
| US8539516B1 (en) | System and method for enabling interoperability between application programming interfaces | |
| Jungklass et al. | Memopt: Automated memory distribution for multicore microcontrollers with hard real-time requirements | |
| CN113641674A (zh) | 一种自适应全局序号发生方法和装置 | |
| EP3495960A1 (en) | Program, apparatus, and method for communicating data between parallel processor cores | |
| KR101748210B1 (ko) | 분산 처리 시스템 및 분산 처리 시스템에서의 파일 처리 방법 | |
| CN112230931B (zh) | 适用于图形处理器的二次卸载的编译方法、装置和介质 | |
| CN114661301B (zh) | 图形处理单元编译方法、装置、编译加速库和存储介质 | |
| CN112214443B (zh) | 设置于图形处理器中的二次卸载装置和方法 | |
| US20090019159A1 (en) | Transparently externalizing plug-in computation to cluster |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |