CN109492024A - 数据处理方法、装置、计算机设备以及存储介质 - Google Patents
数据处理方法、装置、计算机设备以及存储介质 Download PDFInfo
- Publication number
- CN109492024A CN109492024A CN201811256564.6A CN201811256564A CN109492024A CN 109492024 A CN109492024 A CN 109492024A CN 201811256564 A CN201811256564 A CN 201811256564A CN 109492024 A CN109492024 A CN 109492024A
- Authority
- CN
- China
- Prior art keywords
- thread
- threads
- data
- created
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000004590 computer program Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种数据处理方法、装置、计算机设备以及存储介质，其中，所述方法包括：确定系统中用户设定的执行时长内未处理数据的总量；预先设置系统中每一待创建的线程处理的数据量；根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量；根据计算出的线程数量，利用预设规则创建线程，并根据所创建的线程处理所述未处理数据。本发明实施例能够提高数据处理的效率，可以尽快消除积压数据，以降低积压的数据对系统资源的影响。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置、计算机设备以及存储介质。
背景技术
在系统中处理大量数据时，由于待处理数据量变化幅度较大，但对数据处理的时效要求很高，并尽可能使资源使用平稳，防止资源使用冲高的现象。固定的线程数量必须根据最大的数据量预估出需要分配的最大处理线程进行处理，在数据量较小的时候也会占用最大线程，导致资源冲高，影响系统稳定。
发明内容
有鉴于此，本发明实施例提供一种数据处理方法、装置、计算机设备以及存储介质，能够提高数据处理的效率，可以尽快消除积压数据，以降低积压的数据对系统资源的影响。
一方面，本发明实施例提供了一种数据处理方法，该方法包括：
确定系统中用户设定的执行时长内未处理数据的总量；
预先设置系统中每一待创建的线程处理的数据量；
根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量；
根据计算出的线程数量，利用预设规则创建线程，并根据所创建的线程处理所述未处理数据。
另一方面，本发明实施例提供了一种数据处理装置，所述装置包括：
第一确定单元，用于确定系统中用户设定的执行时长内未处理数据的总量；
第一设置单元，用于预先设置系统中每一待创建的线程处理的数据量；
第一计算单元，用于根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量；
处理单元，用于根据计算出的线程数量，利用预设规则创建线程，并根据所创建的线程处理所述未处理数据。
又一方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的数据处理方法。
再一方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现如上所述的数据处理方法。
本发明实施例提供一种数据处理方法、装置、计算机设备以及存储介质，其中方法包括：确定系统中用户设定的执行时长内未处理数据的总量；预先设置系统中每一待创建的线程处理的数据量；根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量；根据计算出的线程数量，利用预设规则创建线程，并根据所创建的线程处理所述未处理数据。本发明实施例能够提高数据处理的效率，可以尽快消除积压数据，以降低积压的数据对系统资源的影响。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种数据处理方法的示意流程图；
图2是本发明实施例提供的一种数据处理方法的另一示意流程图；
图3是本发明另一实施例提供的一种数据处理方法的示意流程图；
图4是本发明另一实施例提供的一种数据处理方法的示意流程图；
图5是本发明实施例提供的一种数据处理方法的示意性框图；
图6是本发明实施例提供的一种数据处理装置的另一示意性框图；
图7是本发明实施例提供的一种数据处理装置的另一示意性框图；
图8是本发明实施例提供的一种数据处理装置的另一示意性框图；
图9是本发明实施例提供的一种计算机设备的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
请参阅图1，图1为本发明实施例提供的一种数据处理方法的示意流程图。如图1所示，该方法包括以下步骤S101～S104。
S101，确定系统中用户设定的执行时长内未处理数据的总量。
在本发明实施例中，所述未处理数据保存在数据库中，通过统计数据库中的数据库表的数量，计算数据库表的大小，根据数据库表的数量以及所计算的数据库表的大小确定系统中未处理数据的总量。具体的，未处理的数据具体保存在数据库中，所述数据库包括oracle数据库、mysql数据库等，未处理的数据指的是保存在数据库中未被系统或者系统中的应用程序采集、存储、检索、加工、变换或者传输的数据。
进一步的，用户设定的执行时长指的是用户期望的对所述未处理数据进行处理所需要的时长，例如，所设定的执行时长为5小时、10小时，具体的执行时长在此不作限定。
S102，预先设置系统中每一待创建的线程处理的数据量。
在本发明实施例中，在创建线程对未处理数据进行处理之前，需要预先设置所创建的每个线程处理的数据量，例如，预先设置每个线程处理的数据量为25，在本实施例中，每个线程处理的数据量在此不作限制。
进一步地，在所述预先设置系统中每一待创建的线程处理的数据量的步骤之前，所述方法还包括：确定当前系统中允许的最大线程数，以及当前系统中已创建的线程数量；根据所确定的最大线程数以及已创建的线程数量，计算出当前系统中可创建的线程数量。
S103，根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量。
在本发明实施例中，由于用户要求未处理的数据需要在设定的执行时长内处理完成，因此，用户所设定的针对未处理数据的执行时长必须大于每一待创建线程处理数据的处理效率，比如，未处理数据的总量为125，每个线程处理的数据量为25，用户要求处理完这批数据的执行时长为20分钟，因此，当每个线程处理数据时，需要在20分钟之内将数据处理完成，从而保证未处理的数据总量在规定的期限内完成处理。
进一步地，如图2所示，所述步骤S104包括步骤S202～S204。
S202，计算每一待创建的线程处理的数据量以及当前系统中未处理数据的总量得到商值；。
在本发明实施例中，根据每一待创建的线程处理的数据量以及当前系统中未处理数据的总量计算得到的商值，可以通过以下公式进行计算：商值＝当前系统中未处理数据的总量/每一待创建的线程处理的数据量。
S204，将所述商值作为所述用户所设定的执行时长内用于处理所述未处理数据所需的线程数量。
在本发明实施例中，由于所计算得到的商值针对用户设定的执行时长内的未处理数据，并且通过未处理数据的总量除以每一线程的处理量得到的商值就是所需的线程数量，因此，将所述商值作为所述用户所设定的执行时长内用于处理所述未处理数据所需的线程数量。
S104，根据计算出的线程数量，利用预设规则创建线程，并根据所创建的线程处理所述未处理数据。
在本发明实施例中，利用预设规则创建线程的方式具体包括：
继承Thread类并复写run方法，创建Thread类对象，调用start方法开启线程；或者，
编辑Runnable接口并复写run方法，创建Thread类对象，将Runnable接口的子类对象传递给Thread类对象，调用start方法开启线程；或者，
创建FutureTask对象、Callable子类对象以及Thread类对象，复写call方法并传递给FutureTask对象，将FutureTask对象传递给Thread类对象，调用start方法开启线程。
由以上可见，本发明实施例通过确定系统中用户设定的执行时长内未处理数据的总量；预先设置系统中每一待创建的线程处理的数据量；根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量；根据计算出的线程数量，利用预设规则创建线程，并根据所创建的线程处理所述未处理数据。本发明实施例能够提高数据处理的效率，可以尽快消除积压数据，以降低积压的数据对系统资源的影响。
请参阅图3，图3为本发明实施例提供的一种数据处理方法的示意流程图。如图3所示，该方法包括以下步骤S301～S306。
S301，确定系统中用户设定的执行时长内未处理数据的总量。
S302，确定当前系统中允许的最大线程数以及已创建的线程数量。
在本发明实施例中，可以通过SQL语句确定对应的数据库中最大线程数量，例如，使用以下SQL语句进行确定：select()from()where name＝"数据库名称"；可以通过SQL语句查询数据库中已创建的线程数量，例如，使用以下SQL语句进行查询：select count(1)from(job_running_log)where name＝"数据库名称"。
S303，根据所确定的最大线程数以及已创建的线程数量，计算出当前系统中可创建的线程数量。
在本发明实施例中，可以通过以下计算公式统计当前系统中可创建的线程数量：当前系统中可创建的线程数量＝当前系统中允许的最大线程数-当前系统中已创建的线程数量。例如，通过SQL语句确定的当前系统中允许的最大线程数为200，当前系统中已创建的线程数量为15，根据计算公式可以得到当前系统中可创建的线程数量为185。
S304，预先设置系统中每一待创建的线程处理的数据量。
S305，根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量。
S306，根据计算出的线程数量，利用预设规则创建线程，并根据所创建的线程处理所述未处理数据。
通过增加上述步骤S303、S304，能够实时统计当前系统中的可创建的线程数量，保证未处理数据能够在周期内完成处理且资源利用更加充分。
请参阅图4，图4为本发明实施例提供的一种数据处理方法的示意流程图。如图4所示，该方法包括以下步骤S401～S407。
S401，确定系统中用户设定的执行时长内未处理数据的总量。
S402，预先设置系统中每一待创建的线程处理的数据量。
S403，根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量。
S404，根据计算出的线程数量，利用预设规则创建线程，并根据所创建的线程处理所述未处理数据。
S405，若开启线程时，在当前系统中设置线程运行表以记录每个线程运行状态。
在本发明实施例中，当每一个线程启动时，在线程运行表中便会增加对应的线程运行记录，其中，线程的运行状态包括新建、运行、等待、阻塞以及结束，线程运行的每个状态均会记录在线程运行表中，通过线程运行表实时记录线程的运行状态，能够实时监控线程运行的过程。
S406，若检测到每个线程处理完未处理的数据后，检测当前系统中可使用线程数量。
在本发明实施例中，可以在当前系统设置检测周期，并规定每隔一段时间后去获取线程运行表中所记录的线程运行状态，以检测当前系统中每个线程是否已处理完数据，并通过每个线程的运行状态，可以判断出当前系统中正在使用的线程数量以及可使用的线程数量，其中，可使用的线程指的是空闲状态的线程，在当前系统中所设置的检测周期可以是10分钟、20分钟，在本实施例中，具体的检测周期在此不作限制，可以根据实际需要进行设置。
S407，若系统中可使用的线程数量小于预设阈值，设置所述线程运行表为终止状态。
在本发明实施例中，通过检测当前系统中可使用的线程数量，并将该线程数量给你系统中所设置的预设阈值进行比较，若系统中可使用的线程数量小于预设阈值，则代表系统资源紧张，终止当前线程，并将线程运行表的该运行记录更新为终止状态，其中，所述预设阈值可以为10个、20个等，在本实施例中，具体的预设阈值在此不作限制，可以根据实际需要进行设置。本实施例通过判断系统资源是否紧张，自动减少线程运行数量，保证系统稳定运行。
请参阅图5，对应上述一种数据处理方法，本发明实施例还提出一种数据处理装置，该装置100包括：第一确定单元101、第一设置单元102、第一计算单元103、处理单元104。
其中，所述第一确定单元101，用于确定系统中用户设定的执行时长内未处理数据的总量。
第一设置单元102，用于预先设置系统中每一待创建的线程处理的数据量。
第一计算单元103，用于根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量。
处理单元104，用于根据计算出的线程数量，利用预设规则创建线程，并根据所创建的线程处理所述未处理数据。
由以上可见，本发明实施例通过确定系统中用户设定的执行时长内未处理数据的总量；预先设置系统中每一待创建的线程处理的数据量；根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量；根据计算出的线程数量，利用预设规则创建线程，并根据所创建的线程处理所述未处理数据。本发明实施例能够提高数据处理的效率，可以尽快消除积压数据，以降低积压的数据对系统资源的影响。
请参阅图6，所述第一计算单元104，包括：
第一计算子单元104a，用于计算每一待创建的线程处理的数据量以及当前系统中未处理数据的总量得到商值。
执行单元104b，用于将所述商值作为所述用户所设定的执行时长内用于处理所述未处理数据所需的线程数量。
请参阅图7，对应上述一种数据处理方法，本发明实施例还提出一种数据处理装置，该装置200包括：第一确定单元201、第二确定单元202、第二计算单元203、第一设置单元204、第一计算单元205、处理单元206。
其中，所述第一确定单元201，用于确定系统中用户设定的执行时长内未处理数据的总量。
第二确定单元202，用于确定当前系统中允许的最大线程数以及已创建的线程数量。
第二计算单元203，用于根据所确定的最大线程数以及已创建的线程数量，计算出当前系统中可创建的线程数量。
第一设置单元204，用于预先设置系统中每一待创建的线程处理的数据量。
第一计算单元205，用于根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量。
处理单元206，用于根据计算出的线程数量，利用预设规则创建线程，并根据所创建的线程处理所述未处理数据。
请参阅图8，对应上述一种数据处理方法，本发明实施例还提出一种数据处理装置，该装置300包括：第一确定单元301、第一设置单元302、第一计算单元303、处理单元304、记录单元305、检测单元306、第二设置单元307。
其中，所述第一确定单元301，用于确定系统中用户设定的执行时长内未处理数据的总量。
第一设置单元302，用于预先设置系统中每一待创建的线程处理的数据量。
第一计算单元303，用于根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量。
处理单元304，用于根据计算出的线程数量，利用预设规则创建线程，并根据所创建的线程处理所述未处理数据。
记录单元305，用于若开启线程时，在当前系统中设置线程运行表以记录每个线程运行状态。
检测单元306，用于若检测到每个线程处理完未处理的数据后，检测当前系统中可使用线程数量。
第二设置单元307，用于若系统中可使用的线程数量小于预设阈值，设置所述线程运行表为终止状态。
上述数据处理装置与上述数据处理方法一一对应，其具体的原理和过程与上述实施例所述方法相同，不再赘述。
上述数据处理装置可以实现为一种计算机程序的形式，计算机程序可以在如图9所示的计算机设备上运行。
图9为本发明一种计算机设备的结构组成示意图。该设备可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式装置等具有通信功能的电子装置。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。参照图9，该计算机设备500包括通过系统总线501连接的处理器502、非易失性存储介质503、内存储器504和网络接口505。其中，该计算机设备500的非易失性存储介质503可存储操作系统5031和计算机程序5032，该计算机程序5032被执行时，可使得处理器502执行一种数据处理方法。该计算机设备500的处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序被处理器执行时，可使得处理器502执行一种数据处理方法。计算机设备500的网络接口505用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502执行所述计算机程序时实现如下操作：
确定系统中用户设定的执行时长内未处理数据的总量；
预先设置系统中每一待创建的线程处理的数据量；
根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量；
根据计算出的线程数量，利用预设规则创建线程，并根据所创建的线程处理所述未处理数据。
在一个实施例中，所述处理器502执行所述计算机程序时还实现如下操作：
确定当前系统中允许的最大线程数以及已创建的线程数量；
根据所确定的最大线程数以及已创建的线程数量，计算出当前系统中可创建的线程数量。
在一个实施例中，所述根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量，包括：
计算每一待创建的线程处理的数据量以及当前系统中未处理数据的总量得到商值；
将所述商值作为所述用户所设定的执行时长内用于处理所述未处理数据所需的线程数量。
在一个实施例中，所述利用预设规则创建线程，包括：
继承Thread类并复写run方法，创建Thread类对象，调用start方法开启线程；或者，
编辑Runnable接口并复写run方法，创建Thread类对象，将Runnable接口的子类对象传递给Thread类对象，调用start方法开启线程；或者，
创建FutureTask对象、Callable子类对象以及Thread类对象，复写call方法并传递给FutureTask对象，将FutureTask对象传递给Thread类对象，调用start方法开启线程。
在一个实施例中，所述处理器502执行所述计算机程序时还实现如下操作：
若开启线程时，在当前系统中设置线程运行表以记录每个线程运行状态；
若检测到每个线程处理完未处理的数据后，检测当前系统中可使用线程数量；
若系统中可使用的线程数量小于预设阈值，设置所述线程运行表为终止状态。
本领域技术人员可以理解，图9中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图9所示实施例一致，在此不再赘述。
本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现以下步骤：
确定系统中用户设定的执行时长内未处理数据的总量；
预先设置系统中每一待创建的线程处理的数据量；
根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量；
根据计算出的线程数量，利用预设规则创建线程，并根据所创建的线程处理所述未处理数据。
在一个实施例中，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，还实现以下步骤：
确定当前系统中允许的最大线程数以及已创建的线程数量；
根据所确定的最大线程数以及已创建的线程数量，计算出当前系统中可创建的线程数量。
在一个实施例中，所述根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量，包括：
计算每一待创建的线程处理的数据量以及当前系统中未处理数据的总量得到商值；
将所述商值作为所述用户所设定的执行时长内用于处理所述未处理数据所需的线程数量。
在一个实施例中，所述利用预设规则创建线程，包括：
继承Thread类并复写run方法，创建Thread类对象，调用start方法开启线程；或者，
编辑Runnable接口并复写run方法，创建Thread类对象，将Runnable接口的子类对象传递给Thread类对象，调用start方法开启线程；或者，
创建FutureTask对象、Callable子类对象以及Thread类对象，复写call方法并传递给FutureTask对象，将FutureTask对象传递给Thread类对象，调用start方法开启线程。
在一个实施例中，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，还实现以下步骤：
若开启线程时，在当前系统中设置线程运行表以记录每个线程运行状态；
若检测到每个线程处理完未处理的数据后，检测当前系统中可使用线程数量；
若系统中可使用的线程数量小于预设阈值，设置所述线程运行表为终止状态。
本发明前述的存储介质包括：磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等各种可以存储程序代码的介质。
本发明所有实施例中的单元可以通过通用集成电路，例如CPU(CentralProcessing Unit，中央处理器)，或通过ASIC(Application Specific IntegratedCircuit，专用集成电路)来实现。
本发明实施例数据处理方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例数据处理装置中的单元可以根据实际需要进行合并、划分和删减。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种数据处理方法，其特征在于，所述方法包括：
确定系统中用户设定的执行时长内未处理数据的总量；
预先设置系统中每一待创建的线程处理的数据量；
根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量；
根据计算出的线程数量，利用预设规则创建线程，并根据所创建的线程处理所述未处理数据。
2.如权利要求1所述的方法，其特征在于，在所述预先设置系统中每一待创建的线程处理的数据量之前，所述方法还包括：
确定当前系统中允许的最大线程数以及已创建的线程数量；
根据所确定的最大线程数以及已创建的线程数量，计算出当前系统中可创建的线程数量。
3.如权利要求1所述的方法，其特征在于，所述根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量，包括：
计算每一待创建的线程处理的数据量以及当前系统中未处理数据的总量得到商值；
将所述商值作为所述用户所设定的执行时长内用于处理所述未处理数据所需的线程数量。
4.如权利要求1所述的方法，其特征在于，所述利用预设规则创建线程，包括：
继承Thread类并复写run方法，创建Thread类对象，调用start方法开启线程；或者，
编辑Runnable接口并复写run方法，创建Thread类对象，将Runnable接口的子类对象传递给Thread类对象，调用start方法开启线程；或者，
创建FutureTask对象、Callable子类对象以及Thread类对象，复写call方法并传递给FutureTask对象，将FutureTask对象传递给Thread类对象，调用start方法开启线程。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
若开启线程时，在当前系统中设置线程运行表以记录每个线程运行状态；
若检测到每个线程处理完未处理的数据后，检测当前系统中可使用线程数量；
若系统中可使用的线程数量小于预设阈值，设置所述线程运行表为终止状态。
6.一种数据处理装置，其特征在于，所述装置包括：
第一确定单元，用于确定系统中用户设定的执行时长内未处理数据的总量；
第一设置单元，用于预先设置系统中每一待创建的线程处理的数据量；
第一计算单元，用于根据所述未处理数据的总量以及所述每一待创建的线程处理的数据量，计算出在用户所设定的执行时长内用于处理所述未处理数据所需的线程数量；
处理单元，用于根据计算出的线程数量，利用预设规则创建线程，并根据所创建的线程处理所述未处理数据。
7.如权利要求6所述的装置，其特征在于，所述装置还包括：
第二确定单元，用于确定当前系统中允许的最大线程数以及已创建的线程数量；
第二计算单元，用于根据所确定的最大线程数以及已创建的线程数量，计算出当前系统中可创建的线程数量。
8.如权利要求6所述的装置，其特征在于，所述第一计算单元，包括：
第一计算单元，用于计算每一待创建的线程处理的数据量以及当前系统中未处理数据的总量得到商值；
执行单元，用于将所述商值作为所述用户所设定的执行时长内用于处理所述未处理数据所需的线程数量。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5任一项所述的数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现如权利要求1-5任一项所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811256564.6A CN109492024A (zh) | 2018-10-26 | 2018-10-26 | 数据处理方法、装置、计算机设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811256564.6A CN109492024A (zh) | 2018-10-26 | 2018-10-26 | 数据处理方法、装置、计算机设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109492024A true CN109492024A (zh) | 2019-03-19 |
Family
ID=65691534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811256564.6A Pending CN109492024A (zh) | 2018-10-26 | 2018-10-26 | 数据处理方法、装置、计算机设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109492024A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110297711A (zh) * | 2019-05-16 | 2019-10-01 | 平安科技（深圳）有限公司 | 批量数据处理方法、装置、计算机设备及存储介质 |
| CN111078386A (zh) * | 2019-12-30 | 2020-04-28 | 北京奇艺世纪科技有限公司 | 一种分布式调度系统的控制方法及控制装置 |
| CN111309733A (zh) * | 2020-02-20 | 2020-06-19 | 深圳震有科技股份有限公司 | 增量数据抽取处理方法及装置、计算机设备、介质 |
| CN111757145A (zh) * | 2020-07-31 | 2020-10-09 | 四川巧夺天工信息安全智能设备有限公司 | 一种多路负载均衡的监控视频的批量处理方法 |
| CN111831485A (zh) * | 2020-07-21 | 2020-10-27 | 平安科技（深圳）有限公司 | 数据恢复方法、装置、电子设备及介质 |
| CN112631754A (zh) * | 2020-12-29 | 2021-04-09 | 浙江大华技术股份有限公司 | 数据处理方法、装置、存储介质及电子装置 |
| CN113076181A (zh) * | 2021-03-04 | 2021-07-06 | 山东英信计算机技术有限公司 | 一种数据处理流程优化方法、系统及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110093859A1 (en) * | 2008-07-04 | 2011-04-21 | Yoshihiko Nishihata | Multiprocessor system, multiple threads processing method and program |
| CN102393822A (zh) * | 2011-11-30 | 2012-03-28 | 中国工商银行股份有限公司 | 批量调度系统及方法 |
| CN103955491A (zh) * | 2014-04-15 | 2014-07-30 | 南威软件股份有限公司 | 一种定时数据增量同步的方法 |
| CN104182206A (zh) * | 2014-08-28 | 2014-12-03 | 北京京东尚科信息技术有限公司 | 一种数据转发方法 |
| WO2016188102A1 (zh) * | 2015-11-10 | 2016-12-01 | 中国建设银行股份有限公司 | 作业处理方法及装置 |
| CN107918864A (zh) * | 2017-11-23 | 2018-04-17 | 平安科技（深圳）有限公司 | 电子保单生成方法、装置、计算机设备及存储介质 |
-
2018
- 2018-10-26 CN CN201811256564.6A patent/CN109492024A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110093859A1 (en) * | 2008-07-04 | 2011-04-21 | Yoshihiko Nishihata | Multiprocessor system, multiple threads processing method and program |
| CN102393822A (zh) * | 2011-11-30 | 2012-03-28 | 中国工商银行股份有限公司 | 批量调度系统及方法 |
| CN103955491A (zh) * | 2014-04-15 | 2014-07-30 | 南威软件股份有限公司 | 一种定时数据增量同步的方法 |
| CN104182206A (zh) * | 2014-08-28 | 2014-12-03 | 北京京东尚科信息技术有限公司 | 一种数据转发方法 |
| WO2016188102A1 (zh) * | 2015-11-10 | 2016-12-01 | 中国建设银行股份有限公司 | 作业处理方法及装置 |
| CN107918864A (zh) * | 2017-11-23 | 2018-04-17 | 平安科技（深圳）有限公司 | 电子保单生成方法、装置、计算机设备及存储介质 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110297711A (zh) * | 2019-05-16 | 2019-10-01 | 平安科技（深圳）有限公司 | 批量数据处理方法、装置、计算机设备及存储介质 |
| CN110297711B (zh) * | 2019-05-16 | 2024-01-19 | 平安科技（深圳）有限公司 | 批量数据处理方法、装置、计算机设备及存储介质 |
| CN111078386A (zh) * | 2019-12-30 | 2020-04-28 | 北京奇艺世纪科技有限公司 | 一种分布式调度系统的控制方法及控制装置 |
| CN111309733A (zh) * | 2020-02-20 | 2020-06-19 | 深圳震有科技股份有限公司 | 增量数据抽取处理方法及装置、计算机设备、介质 |
| CN111831485A (zh) * | 2020-07-21 | 2020-10-27 | 平安科技（深圳）有限公司 | 数据恢复方法、装置、电子设备及介质 |
| CN111757145A (zh) * | 2020-07-31 | 2020-10-09 | 四川巧夺天工信息安全智能设备有限公司 | 一种多路负载均衡的监控视频的批量处理方法 |
| CN111757145B (zh) * | 2020-07-31 | 2022-03-04 | 四川巧夺天工信息安全智能设备有限公司 | 一种多路负载均衡的监控视频的批量处理方法 |
| CN112631754A (zh) * | 2020-12-29 | 2021-04-09 | 浙江大华技术股份有限公司 | 数据处理方法、装置、存储介质及电子装置 |
| CN113076181A (zh) * | 2021-03-04 | 2021-07-06 | 山东英信计算机技术有限公司 | 一种数据处理流程优化方法、系统及存储介质 |
| CN113076181B (zh) * | 2021-03-04 | 2023-09-26 | 山东英信计算机技术有限公司 | 一种数据处理流程优化方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492024A (zh) | 数据处理方法、装置、计算机设备以及存储介质 | |
| CN107832126B (zh) | 一种线程的调整方法及其终端 | |
| CN109309712B (zh) | 基于接口异步调用的数据传输方法、服务器及存储介质 | |
| CN111324427B (zh) | 一种基于dsp的任务调度方法及装置 | |
| CN108491122B (zh) | 一种点击事件响应方法、计算机可读存储介质及终端设备 | |
| CN108205469B (zh) | 一种基于MapReduce的资源分配方法及服务器 | |
| CN107704310B (zh) | 一种实现容器集群管理的方法、装置和设备 | |
| CN107665147A (zh) | 一种移动设备的系统清理方法及移动设备 | |
| CN115525631B (zh) | 数据库数据迁移方法、装置、设备、存储介质 | |
| CN110808877A (zh) | 基于接口响应时长的统计分析方法、装置及计算机设备 | |
| CN110865877B (zh) | 一种任务请求的响应方法及设备 | |
| CN113867644A (zh) | 磁盘阵列优化方法、装置、计算机设备及存储介质 | |
| CN109947712A (zh) | 计算框架内自动合并文件的方法、系统、设备及介质 | |
| CN110286981A (zh) | 虚拟云桌面服务器的使用状态的显示方法及显示系统 | |
| CN111294377A (zh) | 一种依赖关系的网络请求发送方法、终端装置及存储介质 | |
| CN109408225B (zh) | 资源扩容方法、装置、计算机设备以及存储介质 | |
| CN111444253A (zh) | 数据导入方法、装置、计算机可读存储介质和计算机设备 | |
| CN108418730B (zh) | 网络流量测试方法、装置、设备以及计算机可读存储介质 | |
| CN107689979B (zh) | 一种下载请求处理方法和处理设备 | |
| US9659041B2 (en) | Model for capturing audit trail data with reduced probability of loss of critical data | |
| CN115617800A (zh) | 数据读取方法、装置、电子设备及存储介质 | |
| CN111090627B (zh) | 基于池化的日志存储方法、装置、计算机设备及存储介质 | |
| CN108809763B (zh) | 一种网络性能参数采集方法、终端装置及存储介质 | |
| CN109656708B (zh) | Android的动画播放限制方法、存储介质、电子设备及系统 | |
| CN113849133B (zh) | 隐私数据的处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |