CN105204941A - 一种数据处理方法及数据处理装置 - Google Patents
一种数据处理方法及数据处理装置 Download PDFInfo
- Publication number
- CN105204941A CN105204941A CN201510507223.1A CN201510507223A CN105204941A CN 105204941 A CN105204941 A CN 105204941A CN 201510507223 A CN201510507223 A CN 201510507223A CN 105204941 A CN105204941 A CN 105204941A
- Authority
- CN
- China
- Prior art keywords
- task
- treatment facility
- identification
- data processing
- port numbers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种数据处理方法及数据处理装置，所述方法包括：从数据源获取需要处理的待处理数据，并为每一个待处理数据创建一个任务，且为每一个创建的任务设置一个任务标识；配置创建的所述任务的任务标识与处理设备的网际协议IP及端口号的对应关系；根据任务标识以及任务标识与处理设备的网际协议IP及端口号的对应关系，获取任务标识对应的处理设备的IP及端口号；将创建的任务分配给对应的处理设备，由对应的处理设备对该任务进行处理。通过本发明，可以扩大任务处理集群规模，实现多个任务的并行处理。
Description
技术领域
本发明涉及通信和计算机技术领域，具体涉及一种数据处理方法及数据处理装置。
背景技术
随着信息技术的发展，通常有大量的信息数据需要处理，若采用一个数据处理设备对大量的数据进行处理，处理速度非常慢；因此，引入了数据处理设备集群，但通常数据处理设备集群中的数据处理设备的数量是固定的，若待处理数据的数据量增加了，会存在不能满足数据处理的需求。
发明内容
本发明所要解决的技术问题是提供一种数据处理方法及数据处理装置，能够实现数据的并行处理。
本发明解决上述技术问题的技术方案如下：
一方面，本发明提供了一种数据处理方法，所述方法包括：
S1、从数据源获取需要处理的待处理数据，并为每一个待处理数据创建一个任务，且为每一个创建的任务设置一个任务标识；
S2、配置创建的所述任务的任务标识与处理设备的网际协议IP及端口号的对应关系；
S3、根据任务标识以及任务标识与处理设备的网际协议IP及端口号的对应关系，获取任务标识对应的处理设备的IP及端口号；
S4、将创建的任务分配给对应的处理设备，由对应的处理设备对该任务进行处理。
另一方面，本发明提供了一种数据处理装置，所述装置包括：
数据获取模块，用于从数据源获取需要处理的待处理数据，并为每一个待处理数据创建一个任务，且为每一个创建的任务设置一个任务标识；
对应关系配置模块，用于配置创建的所述任务的任务标识与处理设备的网际协议IP及端口号的对应关系；
处理设备信息获取模块，用于根据任务标识以及任务标识与处理设备的网际协议IP及端口号的对应关系，获取任务标识对应的处理设备的IP及端口号；
任务分配模块，用于将创建的任务分配给对应的处理设备，由对应的处理设备对该任务进行处理。
本发明提供的一种数据处理方法及数据处理装置，根据待处理任务的任务标识，配置任务标识与处理设备的网际协议IP及端口号的对应关系，将任务分配给对应的处理设备，能够随着待处理数据数据量的增加，扩大处理设备的规模，实现数据的并行处理。
附图说明
图1为本发明实施例一的一种数据处理方法流程图；
图2为本发明实施例二的一种数据处理装置示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例一、一种数据处理方法。下面结合图1对本实施例提供的数据处理方法进行详细说明。
参见图1，S1、从数据源获取需要处理的待处理数据，并为每一个待处理数据创建一个任务，且为每一个创建的任务设置一个任务标识。
具体的，主设备可以从数据源中获取到需要进行处理的待处理数据，针对每一个待处理数据，为其创建一个任务，为了后续的方便起见，为每一个创建的任务设置一个任务标识。
S2、配置创建的所述任务的任务标识与处理设备的网际协议IP及端口号的对应关系。
具体的，当为每一个待处理任务设置了任务标识之后，配置创建的任务的任务标识与处理设备的网际协议IP及端口号的对应关系，即任务由对应的处理设备来处理执行。其中，任务标识与处理设备的网际协议IP及端口号为多对多的对应关系，即一个任务标识对应多个处理设备的网际协议IP及端口号，一个处理设备的网际协议IP及端口号也能对应多个任务标识。
S3、根据任务标识以及任务标识与处理设备的网际协议IP及端口号的对应关系，获取任务标识对应的处理设备的IP及端口号。
具体的，当需要执行某任务时，根据该任务的任务标识以及任务标识与处理设备的网际协议IP及端口号的对应关系，获取任务标识对应的处理设备的网际协议IP及端口号，由前述任务标识与处理设备的网际协议IP及端口号的对应关系可知，一个任务标识可能会对应多个处理设备的网际协议IP及端口号。
S4、将创建的任务分配给对应的处理设备，由对应的处理设备对该任务进行处理。
具体的，将步骤S1中创建的任务分配给对应的处理设备，其中，当一个任务标识对应多个处理设备的网际协议IP和端口号时，将任务标识对应的任务分配给优先级最高的处理设备，并由该处理设备对该任务进行处理。另外，当多个任务标识对应一个处理设备时，将多个任务标识对应的多个任务按照一定的规则全部分配给对应的该处理设备，比如，按照任务创建的时间顺序将各个任务都分配给对应的处理设备。
此外，主设备会接收每一个处理设备返回的任务执行结果，并记录每一个任务的任务执行状态，其中，任务执行状态包括未执行、执行中和已执行几种状态。
实施例二、一种数据处理装置。下面结合图2对本实施例提供的装置进行说明。
参见图2，本实施例提供的装置包括数据获取模块201、对应关系配置模块202、处理设备信息获取模块203、任务分配模块204和状态记录模块205。
其中，获取模块201，主要用于从数据源获取需要处理的待处理数据，并为每一个待处理数据创建一个任务，且为每一个创建的任务设置一个任务标识。
对应关系配置模块202，主要用于配置创建的所述任务的任务标识与处理设备的网际协议IP及端口号的对应关系。
具体的，获取模块201可以位于主设备中，可以从数据源中获取到需要进行处理的待处理数据，针对每一个待处理数据，为其创建一个任务，为了后续的方便起见，为每一个创建的任务设置一个任务标识。
当为每一个待处理任务设置了任务标识之后，对应关系配置模块202配置创建的任务的任务标识与处理设备的网际协议IP及端口号的对应关系，即任务由对应的处理设备来处理执行。其中，任务标识与处理设备的网际协议IP及端口号为多对多的对应关系，即一个任务标识对应多个处理设备的网际协议IP及端口号，一个处理设备的网际协议IP及端口号也能对应多个任务标识。
处理设备信息获取模块203，主要用于根据任务标识以及任务标识与处理设备的网际协议IP及端口号的对应关系，获取任务标识对应的处理设备的IP及端口号。
任务分配模块204，主要用于将创建的任务分配给对应的处理设备，由对应的处理设备对该任务进行处理。
具体的，其中，当一个任务标识对应多个处理设备的网际协议IP和端口号时，将任务标识对应的任务分配给优先级最高的处理设备，并由该处理设备对该任务进行处理。另外，当多个任务标识对应一个处理设备时，将多个任务标识对应的多个任务按照一定的规则全部分配给对应的该处理设备，比如，按照任务创建的时间顺序将各个任务都分配给对应的处理设备。
状态记录模块205，主要用于接收处理设备返回的任务执行结果，并记录每一个任务的任务执行状态，所述任务执行状态包括未执行、执行中和已执行。
本发明提供的一种数据处理方法及数据处理装置，根据待处理任务的任务标识，配置任务标识与处理设备的网际协议IP及端口号的对应关系，将任务分配给对应的处理设备，能够随着待处理数据数据量的增加，扩大处理设备的规模，实现数据的并行处理。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种数据处理方法，其特征在于，所述方法包括：
S1、从数据源获取需要处理的待处理数据，并为每一个待处理数据创建一个任务，且为每一个创建的任务设置一个任务标识；
S2、配置创建的所述任务的任务标识与处理设备的网际协议IP及端口号的对应关系；
S3、根据任务标识以及任务标识与处理设备的网际协议IP及端口号的对应关系，获取任务标识对应的处理设备的IP及端口号；
S4、将创建的任务分配给对应的处理设备，由对应的处理设备对该任务进行处理。
2.如权利要求1所述的数据处理方法，其特征在于，所述步骤S4具体包括：
当一个任务标识对应多个处理设备的网际协议IP和端口号时，将任务标识对应的任务分配给优先级最高的处理设备，并由该处理设备对该任务进行处理。
3.如权利要求2所述的数据处理方法，其特征在于，所述步骤S4还包括：
当多个任务标识对应一个处理设备时，将多个任务标识对应的多个任务全部分配给对应的该处理设备。
4.如权利要求1所述的数据处理方法，其特征在于，所述步骤S4之后还包括：
接收处理设备返回的任务执行结果，并记录每一个任务的任务执行状态，所述任务执行状态包括未执行、执行中和已执行。
5.一种数据处理装置，其特征在于，所述装置包括：
数据获取模块，用于从数据源获取需要处理的待处理数据，并为每一个待处理数据创建一个任务，且为每一个创建的任务设置一个任务标识；
对应关系配置模块，用于配置创建的所述任务的任务标识与处理设备的网际协议IP及端口号的对应关系；
处理设备信息获取模块，用于根据任务标识以及任务标识与处理设备的网际协议IP及端口号的对应关系，获取任务标识对应的处理设备的IP及端口号；
任务分配模块，用于将创建的任务分配给对应的处理设备，由对应的处理设备对该任务进行处理。
6.如权利要求5所述的数据处理装置，其特征在于，所述任务分配模块具体用于：
当一个任务标识对应多个处理设备的网际协议IP和端口号时，将任务标识对应的任务分配给优先级最高的处理设备，并由该处理设备对该任务进行处理。
7.如权利要求6所述的数据处理装置，其特征在于，所述任务分配模块还具体用于：
当多个任务标识对应一个处理设备时，将多个任务标识对应的多个任务全部分配给对应的该处理设备。
8.如权利要求5所述的数据处理装置，其特征在于，所述装置还包括：
状态记录模块，用于接收处理设备返回的任务执行结果，并记录每一个任务的任务执行状态，所述任务执行状态包括未执行、执行中和已执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510507223.1A CN105204941A (zh) | 2015-08-18 | 2015-08-18 | 一种数据处理方法及数据处理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510507223.1A CN105204941A (zh) | 2015-08-18 | 2015-08-18 | 一种数据处理方法及数据处理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105204941A true CN105204941A (zh) | 2015-12-30 |
Family
ID=54952636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510507223.1A Pending CN105204941A (zh) | 2015-08-18 | 2015-08-18 | 一种数据处理方法及数据处理装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105204941A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110308976A (zh) * | 2018-03-27 | 2019-10-08 | 优酷网络技术（北京）有限公司 | 任务处理方法及装置 |
| CN110507309A (zh) * | 2019-09-04 | 2019-11-29 | 杭州回车电子科技有限公司 | 一种生物电信号处理方法及设备 |
| CN110507308A (zh) * | 2019-09-04 | 2019-11-29 | 杭州回车电子科技有限公司 | 一种生物电信号处理方法及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102279730A (zh) * | 2010-06-10 | 2011-12-14 | 阿里巴巴集团控股有限公司 | 一种并行的数据处理方法、装置和并行的数据处理系统 |
| CN103164262A (zh) * | 2011-12-15 | 2013-06-19 | 阿里巴巴集团控股有限公司 | 一种任务管理方法及装置 |
| CN103475520A (zh) * | 2013-09-10 | 2013-12-25 | 青岛海信传媒网络技术有限公司 | 一种分布式网络中的事务处理控制方法及装置 |
| CN104199912A (zh) * | 2014-08-28 | 2014-12-10 | 无锡天脉聚源传媒科技有限公司 | 一种任务处理的方法及装置 |
-
2015
- 2015-08-18 CN CN201510507223.1A patent/CN105204941A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102279730A (zh) * | 2010-06-10 | 2011-12-14 | 阿里巴巴集团控股有限公司 | 一种并行的数据处理方法、装置和并行的数据处理系统 |
| CN103164262A (zh) * | 2011-12-15 | 2013-06-19 | 阿里巴巴集团控股有限公司 | 一种任务管理方法及装置 |
| CN103475520A (zh) * | 2013-09-10 | 2013-12-25 | 青岛海信传媒网络技术有限公司 | 一种分布式网络中的事务处理控制方法及装置 |
| CN104199912A (zh) * | 2014-08-28 | 2014-12-10 | 无锡天脉聚源传媒科技有限公司 | 一种任务处理的方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110308976A (zh) * | 2018-03-27 | 2019-10-08 | 优酷网络技术（北京）有限公司 | 任务处理方法及装置 |
| CN110308976B (zh) * | 2018-03-27 | 2022-02-11 | 阿里巴巴（中国）有限公司 | 任务处理方法及装置 |
| CN110507309A (zh) * | 2019-09-04 | 2019-11-29 | 杭州回车电子科技有限公司 | 一种生物电信号处理方法及设备 |
| CN110507308A (zh) * | 2019-09-04 | 2019-11-29 | 杭州回车电子科技有限公司 | 一种生物电信号处理方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107580083B (zh) | 一种容器ip地址分配的方法和系统 | |
| CN103797462B (zh) | 一种创建虚拟机的方法和装置 | |
| CN105630617A (zh) | 一种基于规则引擎的业务处理方法及系统 | |
| CN103020193B (zh) | 处理数据库操作请求的方法和设备 | |
| CN103763129A (zh) | 一种PCIe设备管理方法及装置 | |
| CN104331285A (zh) | 一种代码自动生成方法及系统 | |
| CN103970578A (zh) | 主从mcu升级方法 | |
| CN105204941A (zh) | 一种数据处理方法及数据处理装置 | |
| CN102467414A (zh) | 一种状态机控制方法、装置及状态机系统 | |
| CN107818512B (zh) | 产生保单批文的方法、装置、设备及计算机可读存储介质 | |
| CN106709066B (zh) | 数据同步方法及装置 | |
| CN104991798A (zh) | 一种虚拟传感器配置方法及装置 | |
| CN107977223A (zh) | 一种配置兼容性检查方法及装置 | |
| CN103970061A (zh) | 数据生成装置以及方法 | |
| CN106296129A (zh) | 一种状态标识方法及装置 | |
| CN107220375B (zh) | 数据读写方法和服务器 | |
| CN108885686B (zh) | 用于视频分析的基于云的主动调试系统 | |
| CN105446982A (zh) | 用于管理数据存储系统的方法和装置 | |
| CN104216834A (zh) | 一种内存访问的方法、缓冲调度器和内存模块 | |
| JP2011186607A (ja) | フィールドデバイス、フィールドデバイスの設定方法、フィールドデバイス管理装置及びプログラム | |
| CN109117431B (zh) | 用于将来自源应用的源数据合并至目标应用的目标数据的系统和方法 | |
| CN110362540A (zh) | 一种数据存储、访客数获取方法及装置 | |
| JP2011221934A (ja) | レジスタコンフィギュレータおよびレジスタコンフィギュレーション方法 | |
| CN104731329A (zh) | 一种用户笔迹颜色处理的方法和装置 | |
| CN105183531A (zh) | 分布式开发平台及其计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20151230 |