CN105893286A - 数据处理的方法和装置 - Google Patents
数据处理的方法和装置 Download PDFInfo
- Publication number
- CN105893286A CN105893286A CN201510926377.4A CN201510926377A CN105893286A CN 105893286 A CN105893286 A CN 105893286A CN 201510926377 A CN201510926377 A CN 201510926377A CN 105893286 A CN105893286 A CN 105893286A
- Authority
- CN
- China
- Prior art keywords
- data
- thread
- pending data
- classification
- distribution request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 5
- 238000000034 method Methods 0.000 claims abstract description 271
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000003139 buffering effect Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/16—Handling requests for interconnection or transfer for access to memory bus
- G06F13/18—Handling requests for interconnection or transfer for access to memory bus based on priority control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
- G06F13/22—Handling requests for interconnection or transfer for access to input/output bus using successive scanning, e.g. polling
- G06F13/225—Handling requests for interconnection or transfer for access to input/output bus using successive scanning, e.g. polling with priority control
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种数据处理的方法和装置。所述方法包括：获取待处理数据，将所述待处理数据进行排序；检测是否接收到来自处理线程的数据分发请求；当接收到数据分发请求时，按顺序将所述待处理数据发送给所述处理线程。采用本发明实施例，可以提高数据的处理效率。
Description
技术领域
本发明涉及计算机技术，尤其涉及一种数据处理的方法和装置。
背景技术
Redis是一个key-value存储系统，它支持存储的value类型相对更多，是一个高性能的key-value数据库。Redis的出现，在很大程度上补偿了基于memcached对key-alue存储的不足，并提供了基于多种程序语言的客户端，使用方便。
通常Redis设备是通过阻塞I/O通信方式来实现的，阻塞I/O的通讯方式在调用读处理方法时是阻塞的，即阻塞其它数据的处理，直到数据接收完毕时(或处理超时)才会返回相应的数据响应；同样，在调用设备之间的连接处理方法时，也会一直阻塞到有设备请求或完成连接才会返回相应的数据响应，每个设备连接到相应的设备后，为该连接启动一个线程去处理该设备的请求，即为每个请求连接的设备启动一个线程去处理该设备的请求。
然而，阻塞I/O的通讯方式是为每个请求连接的设备启动一个线程去处理该设备的请求，而当与某设备连接的设备较多时，需要创建大量的处理线程，且每个线程都要占用栈空间和一些CPU时间，使得数据的处理效率较低。
发明内容
本发明的目的在于，通过将获取的待处理数据进行排序，并在检测到数据分发请求时，按顺序将待处理数据发送给对应的处理线程进行数据处理，从而在处理数据时不需要为每个连接的设备创建相应的处理线程，而是通过相应的数据处理顺序通过相应的处理线程处理，从而使得创建的处理线程数量在预定范围内，减少栈空间和CPU时间的占用，提高了数据的处理效率。
根据本发明的一方面，提供一种数据处理的方法。所述方法包括：获取待处理数据，将所述待处理数据进行排序；检测是否接收到来自处理线程的数据分发请求；当接收到所述数据分发请求时，按顺序将所述待处理数据发送给所述处理线程。
优选地，所述将所述待处理数据进行排序的处理包括：解析所述待处理数据的处理类别；将所述待处理数据按照所述待处理数据的处理类别分别进行排序。
优选地，所述当接收到所述数据分发请求时，按顺序将所述待处理数据发送给所述处理线程的处理包括：根据所述数据分发请求，解析所述处理线程的处理类别；根据所述处理线程的处理类别，将相应处理类别的待处理数据按顺序发送给对应的处理线程。
优选地，所述数据分发请求为所述处理线程在上一数据未处理完毕时生成的请求。
优选地，所述第一类别包括读处理、写处理和设备连接处理。
根据本发明的另一方面，提供一种数据处理的装置。所述装置包括：数据获取模块，用于获取待处理数据；排序模块，用于将所述待处理数据进行排序；检测模块，用于检测是否接收到来自处理线程的数据分发请求；数据发送模块，用于当接收到所述数据分发请求时，按顺序将所述待处理数据发送给所述处理线程。
优选地，所述排序模块包括：第一类别解析单元，用于解析所述待处理数据的处理类别；排序单元，用于将所述待处理数据按照所述待处理数据的处理类别分别进行排序。
优选地，所述数据发送模块包括：第二类别解析单元，用于根据所述数据分发请求，解析所述处理线程的处理类别；数据发送单元，用于根据所述处理线程的处理类别，将相应处理类别的待处理数据按顺序发送给对应的处理线程。
优选地，所述数据分发请求为所述处理线程在上一数据未处理完毕时生成的请求。
优选地，所述第一类别包括读处理、写处理和设备连接处理。
根据本发明实施例提供的数据处理的方法和装置，通过将获取的待处理数据进行排序，同时，检测是否接收到来自处理线程的数据分发请求，在当接收到数据分发请求时，按顺序将待处理数据发送给该处理线程进行数据处理，从而在处理数据时不需要为每个连接的设备创建相应的处理线程，而是通过相应的数据处理顺序通过相应的处理线程处理，从而使得创建的处理线程数量在预定范围内，减少栈空间和CPU时间的占用，提高了数据的处理效率。
附图说明
图1是示出根据本发明实施例一的数据处理的方法的流程图；
图2是示出根据本发明实施例二的数据处理的方法的流程图；
图3是示出数据处理的系统的示例性示意图；
图4是示出根据本发明实施例三的数据处理的装置的逻辑框图；
图5是示出根据本发明实施例三的数据处理的装置的逻辑框图；
图6是示出根据本发明实施例三的数据处理的装置的逻辑框图。
具体实施方式
本方案的发明构思是，通过将获取的待处理数据进行排序，同时，检测是否接收到来自处理线程的数据分发请求，在当接收到数据分发请求时，按顺序将待处理数据发送给该处理线程进行数据处理，从而在处理数据时不需要为每个连接的设备创建相应的处理线程，而是通过相应的数据处理顺序通过相应的处理线程处理，从而使得创建的处理线程数量在预定范围内，减少栈空间和CPU时间的占用，提高了数据的处理效率。
下面结合附图详细描述本发明的示例性实施例。
实施例一
图1是示出根据本发明实施例一的数据处理的方法的流程图。通过包括如图4所示的装置的计算机系统执行所述方法。
参照图1，在步骤S110，获取待处理数据。
其中，待处理数据可以包括设备之间请求连接的数据(如终端设备请求与服务器连接的请求数据等)、待读取的数据和待写入的数据等。
具体地，本发明实施例中主要提供了一种可以通过非阻塞I/O的方式对数据进行传输和处理的方案，本方案中可以通过创建专门的线程来处理所有的I/O事件，并负责向各处理线程分发相应的处理请求和数据。具体地，对于终端设备来说，可以通过终端设备中安装的操作系统的程序语言(如Java语言等)编写相应的程序代码，将处理I/O事件的方式设置为非阻塞I/O的方式，相应的可在终端设备中设置多个处理线程、用于数据传输的通道、用于数据存储的缓冲区和用于数据分发和处理的选择器，其中，线程的数量并不依赖于设备之间的连接数量。当用户向终端设备中输入某数据(即待处理数据)时，终端设备可获取该待处理数据，并可将待处理数据存储到缓冲区。对于服务器来说，也可以通过相应的程序语言编写程序代码，以设置非阻塞I/O方式。当终端设备需要向服务器请求数据时，可向服务器发送连接请求，服务器可接收终端设备发送的连接请求的数据(即待处理数据)，并可将终端设备请求的数据发送给终端设备，可将待处理数据存储到缓冲区。
在步骤S120，将所述待处理数据进行排序。
具体地，当接收到待处理数据时，可以获取缓冲区中的未处理的数据的数量，确定待处理数据的当前的处理位置或者处理顺序，同时，可以对待处理数据进行编号，这样，缓冲区中存储的数据均带有相应的编号，以便对缓冲区中的数据依次进行处理。
在步骤S130，检测是否接收到来自处理线程的数据分发请求。
具体地，处理线程可以通过轮询的方式向缓冲区中查询其可以处理的数据或者预定类型的数据等，即当到达预设的查询时长时，可获取缓冲区中的数据，并可对各数据进行分析，确定各数据所属的类型等信息，并可对相应类型的数据生成数据分发请求发送给相应的分发线程。该分发线程可实时检测发送的数据分发请求。
在步骤S140，当接收到所述数据分发请求时，按顺序将所述待处理数据发送给所述处理线程。
具体地，当接收到数据分发请求时，可从缓冲区中获取各数据的编号，并可根据编号依次将相应的待处理数据发送给该处理线程处理，例如，缓冲区中包括3个数据，编号分别为1、2和3，其中，数据1和数据3为待写入的数据，数据2为待读取的数据。当写处理的处理线程完成对当前数据的处理后，可向处理线程发送数据获取请求，处理线程可从缓冲区中获取待写入的数据，即数据1和数据3，可按照数据编号对应的顺序，将数据1发送给相应的处理线程，该处理线程可将数据1写入相应的存储设备中。
本发明实施例提供的数据处理的方法，通过将获取的待处理数据进行排序，同时，检测是否接收到来自处理线程的数据分发请求，在当接收到数据分发请求时，按顺序将待处理数据发送给该处理线程进行数据处理，从而在处理数据时不需要为每个连接的设备创建相应的处理线程，而是通过相应的数据处理顺序通过相应的处理线程处理，从而使得创建的处理线程数量在预定范围内，减少栈空间和CPU时间的占用，提高了数据的处理效率。
实施例二
图2是示出根据本发明实施例二的数据处理的方法的流程图，所述实施例可视为图1的又一种具体的实现方案。本发明实施例提供一种通过非阻塞I/O的通讯方式对数据进行处理的技术方案，可应用于key-value存储系统Redis中，通过Redis可以提供高存储能力，并以非阻塞I/O的通讯方式访问应用程序的数据，便于对具有大数据集的应用程序中的数据处理。基于非阻塞I/O的通讯方式对数据进行处理的过程可参见下述步骤：
参照图2，在步骤S210，获取待处理数据。
其中步骤S210的步骤内容与上述实施例一中的步骤S110的步骤内容相同，在此不再赘述。
在步骤S220，解析所述待处理数据的处理类别。
其中，所述处理类别可包括读处理、写处理和设备连接处理，读处理即为读取数据的处理。写处理即为向设备中的存储部件中写入数据的处理。设备连接处理即为两设备之间进行通讯连接时的数据处理，如终端设备与服务器连接时的数据处理。
具体地，当获取到待处理数据时，可以对该待处理数据进行解析，判断待处理数据所属的类别，从而得到待处理数据对应的处理类别。其中，在判断待处理数据所属的类别时，可以通过待处理数据中附加的预定字段或标识来判定，例如，待处理数据的附加预定字段中包括“read”字段，则可将待处理数据的处理类别确定为读处理，如果待处理数据的附加预定字段中包括“write”字段，则可将待处理数据的处理类别确定为写处理。
在步骤S230，将所述待处理数据按照所述待处理数据的处理类别分别进行排序。
具体地，可将接收到的数据根据其接收时间和所属的处理类别进行排序，如获取的待处理数据的处理类别包括读处理和写处理，可将读处理的数据根据其接收时间进行排序，同时，还可以将写处理的数据根据其接收时间进行排序，分别得到两组排序数据。
在步骤S240，检测是否接收到来自处理线程的数据分发请求。
其中步骤S240的步骤内容与上述实施例一中的步骤S130的步骤内容相同，在此不再赘述。
需要说明的是，对于非阻塞I/O的通讯方式的应用程序或系统，其创建的线程为双通道，而且该通讯方式为异步通讯方式，相应的，数据分发请求为所述处理线程在上一数据未处理完毕时生成的请求。如在非阻塞I/O的方式下的读处理可为：当某处理线程从某通道发送数据分发请求以请求读取数据时，该处理线程仅能得到当前可用的数据，如果当前没有可用的数据时，则获取不到任何数据，但并不会保持处理线程阻塞，在直至数据成为可以读取的数据之前，该处理线程可以处理其它事件。
在步骤S250，根据所述数据分发请求，解析所述处理线程的处理类别。
具体地，数据分发请求中可包括发送该数据分发请求的处理线程的标识和/或处理待处理数据的处理线程的标识等。当接收到数据分发请求后，可提取其中的处理线程的标识。可预先记录每个处理线程所属的处理类别信息，当提取到该处理线程的标识后，可从预先存储的处理类别信息中查找该处理线程的标识对应的处理类别信息，从而得到该处理线程的处理类别。
在步骤S260，根据所述处理线程的处理类别，将相应处理类别的待处理数据按顺序发送给对应的处理线程。
其中，待处理数据的处理类别与处理线程的处理类别可以为相对应的类别，例如，待处理数据的处理类别和处理线程的处理类别都为读处理对应的类别，或者都为写处理对应的类别等。
具体地，可以在选择器上注册相应处理类别的处理，如读处理等。如果某时刻客户端给服务器发送了一些数据，此时，服务器会在选择器中添加一个读处理。服务器的处理线程会轮询地访问选择器，如果访问选择器时发现有相应类别的数据到达，则处理该数据，如果没有接收到相应的数据，则处理线程会一直等到接收到相应的数据为止。
如果该处理线程的处理类别为写处理对应的类别，则可获取待处理数据的处理类别为写处理的数据，同时获取已获取的待处理数据的编号，并根据其编号将排在最前面的待处理数据发送给写处理对应的处理线程。
为了更好的说明上述实施例中的处理过程，现结合实例和相应的示意图对上述处理进行详细说明，具体如下：本发明实施例可以应用于数据的处理方式为非阻塞I/O的方式的系统或应用程序中。如图3所示，非阻塞I/O采用双向通道进行数据的传输，相应的应用程序可创建多个处理线程，其中包括获取I/O事件(如读事件、写事件或设备之间的连接事件等)并分发相应I/O事件的处理线程、多个处理线程，创建的多个处理线程并不依赖于设备之间的连接的数量，每个处理线程的处理流程为读取数据、数据解码、对数据进行计算处理、数据编码和发送响应等，处理线程之间可以通过等待和通知的方式进行通讯。除上述对象外，还包括缓冲区和通道，其中，在处理数据时可先将待处理数据存储到缓冲区，在需要时其中的待处理数据可在缓冲区中前后移动，从而增加数据处理过程中的灵活性。同时，还可以检查是否该缓冲区中包含所有需要处理的待处理数据。而且，需确保当有更多的待处理数据读入缓冲区时，不要覆盖缓冲区里尚未处理的数据。
事件的驱动机制可以通过事件被接收的时候触发或接收到数据分发请求时触发，不采用同步的监视触发。在非阻塞I/O的方式下的读处理可为：可设置一个处理线程从某通道发送请求读取数据，但是该处理线程仅能得到当前可用的数据，如果当前没有可用的数据时，就什么都不会获取，但并不会保持处理线程阻塞，在直至数据成为可以读取的数据之前，该处理线程可以处理其它事件。对于写处理与上述处理相似，一个处理线程请求写入一些数据到某通道，但该处理线程不需要等待该数据完全写入，该处理线程同时可以处理其它事件。
除上述对象外，还包括选择器，选择器可以对设备中通道进行管理选择器允许一个单独的处理线程来监视多个通道，也可以注册多个通道使用一个选择器，然后使用一个单独的处理线程从注册的多个通道中选择相应的通道，从而使得一个单独的处理线程很容易来管理多个通道。
参见图3，在进行数据处理时，以向服务器中写入数据为例，用户可通过客户端查看数据库中的某数据，如果用户需要对该数据进行修改时，可选择需要修改的内容，然后输入相应的数据以替换需要修改的内容，输入完成后，可点击确定按键。客户端获取用户输入的数据(即待处理数据)，并可将待处理数据发送给服务器，服务器通过某处理线程接收待处理数据，并可将待处理数据根据当前的未处理的数据数量，对待处理数据进行编号，并将其存储在缓冲区中。可以轮询的方式对缓冲器的待处理数据进行处理，相应的，当到达预定查询时长时，可在缓冲器中查找各种处理类别的数据，并可获取各个处理线程当前数据的处理进度信息，当某处理线程对其中的数据处理完成时，可获取与该处理线程相应的待处理数据，并可向该处理线程分发相应的数据分发请求，然后，相应的处理线程可通过读取数据、解码数据、计算处理、编码和发送响应等处理。
本发明实施例提供的数据处理的方法，一方面，通过将获取的待处理数据进行排序，同时，检测是否接收到来自处理线程的数据分发请求，在当接收到数据分发请求时，按顺序将待处理数据发送给该处理线程进行数据处理，从而在处理数据时不需要为每个连接的设备创建相应的处理线程，而是通过相应的数据处理顺序通过相应的处理线程处理，从而使得创建的处理线程数量在预定范围内，减少栈空间和CPU时间的占用，提高了数据的处理效率；另一方面，每个处理线程可以通过异步的方式对数据进行处理，使得当待处理数据还未完全准备好之前可以对其他数据进行处理，直到待处理数据准备完成后，再对待处理数据进行处理，从而使得数据的处理效率进一步提高。
实施例三
基于相同的技术构思，图4是示出根据本发明实施例三的数据处理的装置的逻辑框图。参照图4，所述装置包括数据获取模块410、排序模块420、检测模块430和数据发送模块440。其中，数据获取模块410与排序模块420相连接，排序模块420与检测模块430相连接，检测模块430与数据发送模块440相连接。
数据获取模块410用于获取待处理数据。
排序模块420用于将所述待处理数据进行排序。
检测模块430用于检测是否接收到来自处理线程的数据分发请求。
数据发送模块440用于当接收到数据分发请求时，按顺序将所述待处理数据发送给所述处理线程。
本发明实施例提供的数据处理的装置，通过将获取的待处理数据进行排序，同时，检测是否接收到来自处理线程的数据分发请求，在当接收到数据分发请求时，按顺序将待处理数据发送给该处理线程进行数据处理，从而在处理数据时不需要为每个连接的设备创建相应的处理线程，而是通过相应的数据处理顺序通过相应的处理线程处理，从而使得创建的处理线程数量在预定范围内，减少栈空间和CPU时间的占用，提高了数据的处理效率。
进一步地，基于图4的实施例，如图5所示的排序模块420包括：第一类别解析单元421，用于解析所述待处理数据的处理类别；排序单元422，用于将所述待处理数据按照所述待处理数据的处理类别分别进行排序。
进一步地，基于图5的实施例，如图6所示的数据发送模块440包括：第二类别解析单元441，用于根据所述数据分发请求，解析所述处理线程的处理类别；数据发送单元442，用于根据所述处理线程的处理类别，将相应处理类别的待处理数据按顺序发送给对应的处理线程。
此外，所述数据分发请求为所述处理线程在上一数据未处理完毕时生成的请求。
此外，所述第一类别包括读处理、写处理和设备连接处理。
进一步地，本发明实施例中，一方面，通过将获取的待处理数据进行排序，同时，在当接收到数据分发请求时，按顺序将待处理数据发送给该处理线程进行数据处理，从而在处理数据时不需要为每个连接的设备创建相应的处理线程，而是通过相应的数据处理顺序通过相应的处理线程处理，从而使得创建的处理线程数量在预定范围内，减少栈空间和CPU时间的占用，提高了数据的处理效率；另一方面，每个处理线程可以通过异步的方式对数据进行处理，使得当待处理数据还未完全准备好之前可以对其他数据进行处理，直到待处理数据准备完成后，再对待处理数据进行处理，从而使得数据的处理效率进一步提高。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种数据处理的方法，其特征在于，所述方法包括：
获取待处理数据，将所述待处理数据进行排序；
检测是否接收到来自处理线程的数据分发请求；
当接收到所述数据分发请求时，按顺序将所述待处理数据发送给所述处理线程。
2.根据权利要求1所述的方法，其特征在于，所述将所述待处理数据进行排序的处理包括：
解析所述待处理数据的处理类别；
将所述待处理数据按照所述待处理数据的处理类别分别进行排序。
3.根据权利要求2所述的方法，其特征在于，所述当接收到所述数据分发请求时，按顺序将所述待处理数据发送给所述处理线程的处理包括：
根据所述数据分发请求，解析所述处理线程的处理类别；
根据所述处理线程的处理类别，将相应处理类别的待处理数据按顺序发送给对应的处理线程。
4.根据权利要求3所述的方法，其特征在于，所述数据分发请求为所述处理线程在上一数据未处理完毕时生成的请求。
5.根据权利要求2所述的方法，其特征在于，所述第一类别包括读处理、写处理和设备连接处理。
6.一种数据处理的装置，其特征在于，所述装置包括：
数据获取模块，用于获取待处理数据；
排序模块，用于将所述待处理数据进行排序；
检测模块，用于检测是否接收到来自处理线程的数据分发请求；
数据发送模块，用于当接收到所述数据分发请求时，按顺序将所述待处理数据发送给所述处理线程。
7.根据权利要求6所述的装置，其特征在于，所述排序模块包括：
第一类别解析单元，用于解析所述待处理数据的处理类别；
排序单元，用于将所述待处理数据按照所述待处理数据的处理类别分别进行排序。
8.根据权利要求7所述的装置，其特征在于，所述数据发送模块包括：
第二类别解析单元，用于根据所述数据分发请求，解析所述处理线程的处理类别；
数据发送单元，用于根据所述处理线程的处理类别，将相应处理类别的待处理数据按顺序发送给对应的处理线程。
9.根据权利要求8所述的装置，其特征在于，所述数据分发请求为所述处理线程在上一数据未处理完毕时生成的请求。
10.根据权利要求7所述的装置，其特征在于，所述第一类别包括读处理、写处理和设备连接处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510926377.4A CN105893286A (zh) | 2015-12-14 | 2015-12-14 | 数据处理的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510926377.4A CN105893286A (zh) | 2015-12-14 | 2015-12-14 | 数据处理的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105893286A true CN105893286A (zh) | 2016-08-24 |
Family
ID=57002397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510926377.4A Pending CN105893286A (zh) | 2015-12-14 | 2015-12-14 | 数据处理的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105893286A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107729559A (zh) * | 2017-11-08 | 2018-02-23 | 携程旅游网络技术（上海）有限公司 | 数据库读写异步访问的方法、系统、设备及存储介质 |
| CN109828987A (zh) * | 2019-01-21 | 2019-05-31 | 深圳乐信软件技术有限公司 | 一种千万级数据计算方法、装置、电子设备和介质 |
| CN110019494A (zh) * | 2017-07-26 | 2019-07-16 | 北京国双科技有限公司 | 媒体数据处理方法和装置、存储介质及处理器 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103176928A (zh) * | 2011-12-08 | 2013-06-26 | 瑞萨移动公司 | 半导体装置和图像处理方法 |
| CN104615684A (zh) * | 2015-01-22 | 2015-05-13 | 北京彩云动力教育科技有限公司 | 一种海量数据通信并发处理方法及系统 |
| CN104765701A (zh) * | 2015-03-24 | 2015-07-08 | 华为技术有限公司 | 数据访问方法及设备 |
-
2015
- 2015-12-14 CN CN201510926377.4A patent/CN105893286A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103176928A (zh) * | 2011-12-08 | 2013-06-26 | 瑞萨移动公司 | 半导体装置和图像处理方法 |
| CN104615684A (zh) * | 2015-01-22 | 2015-05-13 | 北京彩云动力教育科技有限公司 | 一种海量数据通信并发处理方法及系统 |
| CN104765701A (zh) * | 2015-03-24 | 2015-07-08 | 华为技术有限公司 | 数据访问方法及设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110019494A (zh) * | 2017-07-26 | 2019-07-16 | 北京国双科技有限公司 | 媒体数据处理方法和装置、存储介质及处理器 |
| CN107729559A (zh) * | 2017-11-08 | 2018-02-23 | 携程旅游网络技术（上海）有限公司 | 数据库读写异步访问的方法、系统、设备及存储介质 |
| CN107729559B (zh) * | 2017-11-08 | 2020-06-23 | 携程旅游网络技术（上海）有限公司 | 数据库读写异步访问的方法、系统、设备及存储介质 |
| CN109828987A (zh) * | 2019-01-21 | 2019-05-31 | 深圳乐信软件技术有限公司 | 一种千万级数据计算方法、装置、电子设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108537543B (zh) | 区块链数据的并行处理方法、装置、设备和存储介质 | |
| KR101661000B1 (ko) | 상이한 데이터 집합들의 식별을 가능케 하는 시스템들 및 방법들 | |
| KR101694560B1 (ko) | 패턴 인식 프로세서의 전력 소모 관리 방법 및 시스템 | |
| CN1304941C (zh) | 用于自主硬件辅助的线程栈跟踪的装置与方法 | |
| US8984085B2 (en) | Apparatus and method for controlling distributed memory cluster | |
| KR101648235B1 (ko) | 정합-데이터 보고 모듈을 갖는 패턴 인식 프로세서 | |
| CN109857744B (zh) | 稀疏张量计算方法、装置、设备及存储介质 | |
| CN102340489B (zh) | 一种服务器之间的数据传输方法和服务器 | |
| CN104615684B (zh) | 一种海量数据通信并发处理方法及系统 | |
| CN109450922B (zh) | 一种通信数据解析方法、装置及相关设备 | |
| CN104239508B (zh) | 数据查询方法和装置 | |
| CN109684099A (zh) | 消息处理方法及装置 | |
| CN111126604B (zh) | 模型训练方法、装置、服务器及存储介质 | |
| US10185505B1 (en) | Reading a portion of data to replicate a volume based on sequence numbers | |
| CN105893286A (zh) | 数据处理的方法和装置 | |
| CN111190810A (zh) | 执行测试任务的方法、装置、服务器和存储介质 | |
| CN106095597A (zh) | 客户端数据处理方法及装置 | |
| CN109144619A (zh) | 图标字体信息处理方法、装置及系统 | |
| US10996860B2 (en) | Method to improve mixed workload performance on storage devices that use cached operations | |
| CN115934774B (zh) | 一种高并发多维度分布式交易系统流控方法、引擎及介质 | |
| CN109376104A (zh) | 一种芯片及基于其的数据处理方法和装置 | |
| CN111897828A (zh) | 数据批处理实现方法、装置、设备及存储介质 | |
| CN108182119A (zh) | 读写分离控制方法和装置、存储介质及电子装置 | |
| CN117076353B (zh) | 描述符的配置方法和描述符的配置装置 | |
| CN114253920A (zh) | 一种交易重新排序方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160824 |