CN107203552B - 垃圾回收方法及装置 - Google Patents

垃圾回收方法及装置 Download PDF

Info

Publication number
CN107203552B
CN107203552B CN201610154498.6A CN201610154498A CN107203552B CN 107203552 B CN107203552 B CN 107203552B CN 201610154498 A CN201610154498 A CN 201610154498A CN 107203552 B CN107203552 B CN 107203552B
Authority
CN
China
Prior art keywords
target
service
recovery
service type
garbage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610154498.6A
Other languages
English (en)
Other versions
CN107203552A (zh
Inventor
张�杰
张辰
何乐
史英杰
黄俨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610154498.6A priority Critical patent/CN107203552B/zh
Priority to TW106104934A priority patent/TWI794158B/zh
Priority to US16/085,510 priority patent/US11119911B2/en
Priority to EP17765741.8A priority patent/EP3432159B1/en
Priority to PCT/CN2017/075830 priority patent/WO2017157199A1/zh
Publication of CN107203552A publication Critical patent/CN107203552A/zh
Application granted granted Critical
Publication of CN107203552B publication Critical patent/CN107203552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1727—Details of free space management performed by the file system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0253—Garbage collection, i.e. reclamation of unreferenced memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1041—Resource optimization
    • G06F2212/1044—Space efficiency improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/70—Details relating to dynamic memory management
    • G06F2212/702—Conservative garbage collection

Abstract

本发明提供了一种垃圾回收方法及装置，通过获取所有的业务项目所包括的目标业务类型，确定与每个目标业务类型对应的目标回收组件，利用各目标回收组件对所对应的目标业务类型的垃圾进行回收。本发明中以业务类型为粒度构建的回收组件，为不同的业务类型对应不同的回收组件，基于这些组件进行垃圾回收，可以灵活地对业务类型进行扩展，可以实现对异构的业务类型的回收，通用性较高。

Description

垃圾回收方法及装置
技术领域
本发明属于计算机领域，尤其涉及一种垃圾回收方法及装置。
背景技术
现有的甲骨文互联网目录垃圾回收系统(Oracle Internet Directory GarbageCollection Framework)中支持对轻型目录访问协议(Lightweight Directory AccessProtocol，简称LDAP)类型的垃圾进行回收。而阿豆比Adobe AEM的垃圾回收系统针对数据包、临时文件和工作流负责这些类型的垃圾进行回收。再有WorldServer的垃圾回收系统主要对数据库中产生的垃圾进行回收。
由上可知，现有的垃圾回收系统基本上都是针对具有相同领域特征的垃圾类型进行回收，对于多样性的异构垃圾回收场景不能通用。
发明内容
本发明提供一种垃圾回收方法及装置，用于解决现有的垃圾回收系统均是针对具有相同领域特征的垃圾类型进行回收，并不能用于对多样性的异构垃圾的回收，通用性较差。
为了实现上述目的，本发明提供了一种垃圾回收方法，包括：
获取所有的业务项目所包括的目标业务类型；其中，不同的业务类型对应不同的回收组件；
确定与各目标业务类型所对应的目标回收组件；
利用各目标回收组件对所对应的目标业务类型的垃圾进行回收。
为了实现上述目的，本发明提供了一种垃圾回收装置，包括：
获取模块，用于获取所有的业务项目所包括的目标业务类型；其中，不同的业务类型对应不同的回收组件；
确定模块，用于确定与各目标业务类型所对应的目标回收组件；
回收模块，用于利用各目标回收组件对所对应的目标业务类型的垃圾进行回收。
为了实现上述目的，本发明提供了一种垃圾回收装置，包括：
扫描仪，用于获取所有的业务项目所包括的目标业务类型；其中，不同的业务类型对应不同的回收组件；
调度器，用于确定与各目标业务类型所对应的目标回收组件；
执行器，用于利用各目标回收组件对所对应的目标业务类型的垃圾进行回收。
本发明提供的垃圾回收方法及装置，通过获取所有的业务项目所包括的目标业务类型，确定与每个目标业务类型对应的目标回收组件，利用各目标回收组件对所对应的目标业务类型的垃圾进行回收。本发明中以业务类型为粒度构建的回收组件，为不同的业务类型对应不同的回收组件，基于这些组件进行垃圾回收，可以灵活地对业务类型进行扩展，可以实现对异构的业务类型的回收，通用性较高。
附图说明
图1为本发明实施例一的垃圾回收方法的流程示意图；
图2为本发明实施例二的垃圾回收方法的流程示意图；
图3为本发明实施例二的垃圾回收方法的应用示意图；
图4为本发明实施例三的垃圾回收装置的结构示意图；
图5为本发明实施例四的垃圾回收装置的结构示意图；
图6为本发明实施例五的垃圾回收装置的结构示意图。
具体实施方式
下面结合附图对本发明实施例提供的垃圾回收方法及装置进行详细描述。
实施例一
如图1所示，其为本发明实施例一的垃圾回收方法的流程示意图。该垃圾回收方法包括以下步骤：
S101、获取所有的业务项目所包括的目标业务类型。
其中，不同的业务类型对应不同的回收组件。
在获取所有的业务项目所包括的目标业务类型之前，为不同的业务类型构建与其对应的回收组件。具体地，为每一个业务类型构建一个对应的回收组件，但是实际应用中，有些业务类型的垃圾回收逻辑是相同，为了节省资源，具有相同垃圾回收逻辑的业务类型可以复用一个回收组件，在这种情况下，为不同业务类型构建对应的回收组件的过程如下：
具体地，为具有相同的垃圾回收逻辑的所有业务类型构建一个与其对应的回收组件；其中具有相同的垃圾回收逻辑所有业务类型复用所述与其对应的回收组件。例如，业务类型A和业务类型B具有相同的垃圾回收逻辑，为业务类型A和业务类型B构建一个与其对应的回收组件1。业务类型A和业务类型B则复用该回收组件1。而业务类型D和业务类型G具有相同的垃圾回收逻辑，则为业务类型D和业务类型G构建一个回收组件5，业务类型D和业务类型G复用该回收组件5。
进一步地，由于除了具有相同的垃圾回收逻辑的所有业务类型之外的其他业务类型之间的垃圾回收逻辑均是不同的，则为每个其他业务类型分别构建与其对应的回收组件。例如，业务类型C、业务类型E、业务类型F称为其他业务类型，业务类型C、业务类型E以及业务类型F三者的垃圾回收逻辑均不同，则分别构建于业务类型C、业务类型E以及业务类型F对应的回收组件2、回收组件3以及回收组件4。
为了满足能够动态地对垃圾类型可扩展的需求，本实施例中，通过回收组件对垃圾回收逻辑进行封装，回收组件具有可热插拔的功能，基于回收组件就可以实现对垃圾类型进行灵活地扩展的目的。
进一步地，为了实现对大量异构的垃圾类型进行回收，本实施例中，针对不同的业务类型构建不同的回收组件，一般情况下，一个业务类型对应至少一个回收组件。本实施例中提供的垃圾回收方法中以业务类型为粒度构建的回收组件，提高了该方法的通用性，能够适用于大数据处理环境。
本实施例中，对所有的业务项目进行扫描，将扫描结果生成业务项目列表。其中，业务项目列表中包括所有的业务项目所包括的目标业务类型。在扫描获取到业务项目列表后，可以将业务项目列表进行存储。本实施例中，可以定时对所有的业务项目进行扫描，从而能自动地触发垃圾回收流程，而且用户可以根据业务场景设定回收周期。例如，用户可以通过前端界面配置定时的时间间隔，可以以每小时/每天/每周/每月等作为时间间隔进行定时，在启动扫描后，则相应地启动垃圾回收流程。可选地，可以通过用户手动操作，在前端界面上进行操作，启动扫描以完成垃圾回收流程。
S102、确定与各目标业务类型所对应的目标回收组件。
在获取到所有业务项目所包括的目标业务类型后，由于每个业务类型对应至少一个回收组件，则根据所包括的目标业务类型，确定与目标业务类型对应的目标回收组件。
S103、利用各目标回收组件对所对应目标业务类型的垃圾进行回收。
在获取到所有的目标回收组件后，利用各目标回收组件对所对应的目标业务类型产生的垃圾进行回收。具体地，将每个业务项目所包括的目标业务类型作为一个任务分配到对应的目标回收组件中，加载所有的目标回收组件，并为各目标回收组件分配所需的线程池，启动所有的目标回收组件使用所分配的线程池执行垃圾回收逻辑，各目标回收组件对所对应的目标业务类型的垃圾进行回收。其中，可以为目标回收组件分配多个线程池，当线程池为多个时，目标回收组件可以并行地执行垃圾回收逻辑对所对应的目标业务类型的垃圾进行回收。
本实施例提供的垃圾回收方法，通过获取所有的业务项目所包括的目标业务类型，确定与目标业务类型对应的目标回收组件，利用目标回收组件对目标业务类型的垃圾进行回收。本实施例中以业务类型为粒度构建的回收组件，为不同的业务类型对应不同的回收组件，基于这些组件进行垃圾回收，可以灵活地对业务类型进行扩展，可以实现对异构的业务类型的回收，通用性较高。
实施例二
如图2所示，其为本发明实施例二的垃圾回收方法的流程示意图。该垃圾回收方法包括以下步骤：
S201、对所有的业务项目进行扫描。
本实施例中，对所有的业务项目进行扫描，将扫描结果生成业务项目列表。其中，业务项目列表中包括所有的业务项目所包括的目标业务类型。在扫描获取到业务项目列表后，可以将业务项目列表进行存储。本实施例中，可以定时对所有的业务项目进行扫描，例如，用户可以通过前端界面配置定时的时间间隔，可以以每小时/每天/每周/每月等作为时间间隔进行定时，在启动扫描后，则相应地启动垃圾回收流程。可选地，可以通过用户手动操作，在前端界面上进行操作，启动扫描以完成垃圾回收流程。
S202、将扫描结果生成业务项目列表。
其中，业务项目列表中包括所有的业务项目所包括的目标业务类型。
将对所有业务项目进行扫描后，经过扫描后，能获取到扫描结果，其中扫描结果为每个业务项目所包括的业务类型，然后将扫描结果生成业务项目列表，也就是说，生成的业务项目列表中包括所有的业务项目所包括的目标业务类型。其中，生成的业务项目列表中包括业务项目的标识、目标业务类型的标识，以及业务项目与所包括的目标业务类型之间的对应关系。
S203、判断业务项目列表中是否存在新的目标业务类型。
具体地，将当前扫描后生成的项目业务列表与上一次扫描后生成的业务项目列表进行比较，以判断当前项目业务类别中是否存在新的目标业务类型，如果判断结果为是，执行步骤204；否则执行步骤205。
S204、获取与所述新的目标业务类型对应的新的目标回收组件。
在获取到新的目标业务类型后，将与该新的目标业务类型对应的新的目标回收组件添加到用于管理回收组件的设备上。其中，新的目标回收组件在添加之前，需要管理人员根据该目标业务类型的垃圾回收逻辑进行构建。
S205、根据业务项目列表中获取每个业务项目已删除的目标业务类型。
具体地，将当前扫描生成的业务项目列表与上次扫描生成的业务项目列表进行比较，从而能够确定出业务项目列中每个业务项目已删除的目标业务类型。
S206、针对每个业务项目，判断已删除的目标业务类型对应的目标回收组件是否被所述业务项目列表中其他的目标业务类型所复用。
针对每一个业务项目，当确定出已删除的目标业务类型后，需要判断该已删除的目标业务类型对应的目标回收组件是否被业务项目列表中至少一个其他的目标目标业务类型所复用，此处将已删除的目标业务类型对应的目标回收组件称为待删除的目标回收组件。如果待删除的目标回收组件未被其他的业务类型所复用，则表明可以将待删除的目标回收组件进行删除，执行步骤207。
如果待删除的目标回收组件被其他的目标业务类型所复用，则表明当前不能删除该待删除的目标回收组件，继续维持该待删除的目标回收组件，执行步骤208。
S207、将已删除的目标业务类型对应的目标回收组件进行删除。
将已删除的目标业务类型对应的目标回收组件后，继续执行步骤208。
S208、为业务项目列表中其他的目标业务类型确定与其对应的目标回收组件。
进一步地，还需要为业务项目列表中除该新的目标业务类型和已删除的目标业务类型之外的其他的每个目标业务类型确定与其对应的目标回收组件。关于为目标业务类型确定与其对应的目标回收组件的相关内容，可参见上述实施例中相关内容的记载，此次不再赘述。
S209、利用各目标回收组件对所对应的目标业务类型的垃圾进行回收。
在为所有的目标业务类型确定了对应的目标回收组件后，利用各目标回收组件对所对应的目标业务类型的垃圾进行回收，具体过程，可参见上述实施例中相关内容的记载，此次不再赘述。
本实施例中，基于回收组件对垃圾进行回收，能适应现有大数据开放处理平台中对大量异构类型垃圾回收的要求，基于回收组件具有的热插拔功能，具有很强的动态扩展性，能够对产生的新业务类型的垃圾有效支持，从而适用于大数据处理环境。
S210、在利用各目标回收组件对所对应的目标业务类型的垃圾进行回收的同时监控垃圾回收进度，并将监控到的垃圾回收进度作为一个检查点。
S211、在垃圾回收的过程中出现断点后，利用与断点时间最近的所述检查点进行断点恢复。
本实施例中，为垃圾回收方法设置有快照功能，该快照功能定时触发。在利用回收组件回收各业务类型的垃圾的过程中，需要对垃圾回收进度进行监控，在触发了快照功能后，就可以记录当时时刻的垃圾回收进度，并将监控到的垃圾回收进度记为一个检查点，并将该检查点存储在磁盘中。当在垃圾回收的过程中，如果出现异常情况，导致垃圾回收的过程被中断，可以根据最近的检查点进行断点恢复。
本实施例提供的垃圾回收方法可以由图3所示的垃圾回收系统来完成。如图3所示，该垃圾回收系统包括：前端、管理器(Manager)和处理器(Processor)。其中，该垃圾回收系统的前端可以为人机交互模块，用于提供人机交互界面，用户可以基于该界面对该垃圾回收系统进行设置。例如，开始、关闭或者定时等。Manager中包括扫描模块(Scanner)、调度模块(Scheduler)和故障转移模块(Failover)。Processor中包括多个节点(Worker)，每个Worker上设置回收组件。其中，Scanner对所有的业务项目进行扫描，能够得到业务项目列表。Scheduler负责任务调度，可以获取Scanner扫描的结果即业务项目列表，并将各业务项目中包括的业务类型作为任务分发给处理器中的对应的Worker，Scheduler还可以监控垃圾回收系统的运行状态，并能够获取垃圾回收的结果。
Processor中的Worker在被分配到与回收组件相应的业务类型后，Worker可以执行设置的回收组件的具体回收逻辑。Worker可以为回收组件分配多个线程池，当线程池为多个时，可以并行地执行回收组件的回收逻辑，提高垃圾回收效率。
在对业务项目的垃圾回收的过程中，Manager中故障转移模块会对垃圾回收进度进行监控，每隔一段时间将监控到的垃圾回收进度记为一个检查点(Checkpoint)，通过该检查点进行断点恢复。
为了更好地理解本实施例提供的垃圾回收方法，举例进行说明：
业务项目包括：淘宝、阿里巴巴、高德和支付宝等。
业务类型包括：实时查询、机器学习、流式计算、在线监控、离线计算等。
一个业务类型对应一个回收组件或者多个回收组件，各回收组件放置在垃圾回收系统中处理器的Worker上。例如，实时查询对应一个回收组件，记为回收组件1，将该回收组件1设置在Worker1上。机器学习对应2个回收组件，分别记为回收组件2和回收组件3，将回收组件2和回收组件3分别设置在Worker2和Worker3上。流式计算对应一个回收组件，记为回收组件4，将回收组件4设置在Worker4上。在线监控对应一个回收组件，记为回收组件5，将回收组件4设置在Worker5上以及离线计算对应三个回收组件，记为回收组件6、回收组件7和回收组件8，将回收组件6、回收组件7和回收组件8分别设置在Worker6、Worker7和Worker8上。一个业务项目中包括多个目标业务类型，例如，高德业务项目包括实时查询和流式计算等目标业务类型。淘宝业务项目包括实时查询、流式计算和在线监控等目标业务类型。阿里巴巴业务项目包括业务类型实时查询、机器学习以及流失计算等目标业务类型。支付宝业务项目包括：实时查询、机器学习以及在线监控等目标业务类型。
当垃圾回收系统中的Scanner对所有的业务项目进行扫描，得到每个业务项目包括的目标业务类型，将所有的业务项目扫描结果生成一个业务项目列表，Scheduler根据业务项目列表获取与各业务项目相关的目标回收组件，然后将各业务项目中的目标业务类型作为任务分配到对应的Worker上，Worker基于目标回收组件的垃圾回收路基对对应的业务类型进行垃圾回收。
例如，高德业务项目包括实时查询和流式计算等目标业务类型，为了对该业务项目的垃圾进行回收，需要调用与其对应的目标回收组件，其中目标回收组件包括：回收组件1和回收组件4。基于回收组件1和回收组件4对该业务项目的垃圾进行回收。其中，回收组件1用于回收实时查询的垃圾，而回收组件4回收流式计算的垃圾。该示例中，Worker可以为目标回收组件分配多个线程池，通过多个线程池并行地执行目标回收组件，用于提高垃圾回收效率。
淘宝业务项目包括实时查询、流式计算和在线监控等目标业务类型，为了对该业务项目的垃圾进行回收，需要的目标回收组件包括：回收组件1、回收组件4和回收组件5。然后基于回收组件1、回收组件4和回收组件5对淘宝业务项目的垃圾进行回收。具体过程参见高德业务项目的处理过程，此处不再赘述。
当所有的业务项目中不再包括实时查询目标业务类型时，Scheduler可以指示Worker1将对应的回收组件1进行删除。当仅有一些业务项目不再包括实时查询目标业务类型时，该实时查询目标业务类型对应的回收组件1不能被删除。例如，当阿里巴巴业务项目不再包括实时查询目标业务类型，而淘宝仍然包括该实时查询目标业务类型，则该目标业务类型对应的回收组件1不能被删除。
当增加了新的目标业务类型时，需要添加该新的目标业务类型相应的目标回收组件。例如增加新的目标业务类型为离线计算时，相应地增加该离线计算目标业务的回收组件6，将该回收组件6放置到对应点Worker上。
新增加的目标业务类型被用于淘宝业务项目上时，当扫描该淘宝业务项目时，就可以得到该淘宝业务项目包括实时查询、流式计算、在线监控和离线计算，相应地目标回收组件：回收组件1、回收组件4、回收组件5和回收组件6。
在对业务项目的垃圾回收的过程中，Failover会对垃圾回收进度进行监控，每隔一段时间将监控到的垃圾回收进度记为一个检查点，通过该检查点进行断点恢复。例如，当在垃圾回收的过程中出现异常情况，导致垃圾回收过程被中断，重新运行后，可以从检查点中获取到被中断时刻的垃圾回收进度，从该进度下开始继续回收垃圾，避免重复之前的操作。
实施例三
如图4所示，其为本发明实施例三的垃圾回收装置的结构示意图。该垃圾回收装置包括：构建模块10、获取模块11、确定模块12和回收模块13。
其中，构建模10，用于在所述获取模块获取所有的业务项目所包括的业务类型之前，为不同的业务类型构建对应的回收组件，其中，一个业务类型至少对应一个回收组件。
在获取所有的业务项目所包括的目标业务类型之前，为不同的业务类型构建与其对应的回收组件。具体地，为每一个业务类型构建一个对应的回收组件，但是实际应用中，有些业务类型的垃圾回收逻辑是相同，为了节省资源，具有相同垃圾回收逻辑的业务类型可以复用一个回收组件，构建模10为不同业务类型构建对应的回收组件的过程，可参见上述实施例中相关内容的记载，此处不再赘述。
获取模块11，用于获取所有的业务项目所包括的目标业务类型；其中，不同的业务类型对应不同的回收组件。
为了满足能够动态地对垃圾类型可扩展的需求，本实施例中，通过回收组件对垃圾回收逻辑进行封装，回收组件具有可热插拔的功能，基于回收组件就可以实现对垃圾类型进行灵活地扩展的目的。
进一步地，为了实现对大量异构的垃圾类型进行回收，本实施例中，针对不同的业务类型构建不同的回收组件，一般情况下，一个业务类型对应至少一个回收组件。本实施例中以业务类型为粒度构建的回收组件，提高通用性，能够适用于大数据处理环境。
本实施例中，获取模块11对所有的业务项目进行扫描，获取所有业务项目所包括的目标业务类型。
确定模块12，用于确定与各目标业务类型所对应的目标回收组件。
在获取模块11获取到所有业务项目所包括的目标业务类型后，由于每个业务类型对应至少一个回收组件，则确定模块12根据所包括的目标业务类型，确定与目标业务类型对应的目标回收组件。
回收模块13，用于利用各目标回收组件对所对应的目标业务类型的垃圾进行回收。
在获取到目标回收组件后，回收模块13利用各目标回收组件对目标业务类型产生的垃圾进行回收。具体地，将每个业务项目所包括的目标业务类型作为一个任务分配到对应的目标回收组件中，加载所有的目标回收组件，并为各目标回收组件分配所需的线程池，启动所有的目标回收组件使用所分配的线程池执行垃圾回收逻辑，各目标回收组件对所对应的目标业务类型的垃圾进行回收。
本实施例提供的垃圾回收装置，通过获取所有的业务项目所包括的目标业务类型，确定与目标业务类型对应的目标回收组件，利用目标回收组件对目标业务类型的垃圾进行回收。本实施例中以业务类型为粒度构建的回收组件，为不同的业务类型对应不同的回收组件，基于这些组件进行垃圾回收，可以灵活地对业务类型进行扩展，可以实现对异构的业务类型的回收，通用性较高。
实施例四
如图5所示，其为本发明实施例四的垃圾回收装置的结构示意图。该垃圾回收装置除了包括上述实施例三中的构建模块10、获取模块11、确定模块12和回收模块13之外，还包括：监控模块14和断点恢复模块15。
构建模块10，具体用于为具有相同的垃圾回收逻辑的所有的业务类型，构建一个与其对应的回收组件，为其他的每个业务类型分别构建与其对应的回收组件；其中，所述具有相同的垃圾回收垃圾的所有的业务类型复用与其对应的回收组件。
本实施例中获取模块11一种可选地结构包括：扫描单元111和生成单元112。
其中，扫描单元111，用于对所有的业务项目进行扫描。
生成单元112，用于将扫描结果生成业务项目列表。
其中，所述业务项目列表中包括所有的业务项目所包括的所述目标业务类型。
本实施例中确定模块12一种可选地结构包括：判断单元121、获取单元122、删除单元123和确定单元124。
其中，判断单元121，用于判断所述业务项目列表中是否存在新的目标业务类型。
获取单元122，用于在所述判断单元判断出存在所述新的目标业务类型时，获取与所述新的目标业务类型对应新的目标回收组件。
进一步地，获取单元121，还用于在所述判断单元判断出未存在所述新的目标业务类型时，根据所述业务项目列表中获取每个业务项目已删除的目标业务类型。
进一步地，判断单元122，还用于判断所述已删除的目标业务类型对应的的目标回收组件是否被所述业务项目列表中其他的目标业务类型所复用。
删除单元123，用于在所述判断单元判断所述已删除的业务类型对应的目标回收组件未被复用时，将所述已删除的业务类型对应的目标回收组件进行删除。
确定单元124，用于为所述业务项目列表中其他的目标业务类型确定与其对应的目标回收组件，其中所述其他的目标业务类型为所述业务项目列表中除所述新的目标业务类型和已删除的目标业务类型之外的目标业务类型。
本实施例中回收模块13一种可选地结构包括：分配单元131、加载单元132、线程分配单元133和执行单元134。
分配单元131，用于将每个业务项目所包括的目标业务类型作为一个任务分配到对应的所有目标回收组件中。
加载单元132，用于加载所有的目标回收组件。
线程分配单元133，用于为各目标回收组件分配所需的线程池。
执行单元134，用于启动各目标回收组件使用所分配的所述线程池执行所述垃圾回收逻辑对所对应的目标业务类型的垃圾进行回收。
监控模块14，用于在利用各目标回收组件对所对应的目标业务类型的垃圾进行回收的过程中，监控垃圾回收进度并将监控到的所述垃圾回收进度作为为一个检查点。
断点恢复模块15，用于在垃圾回收的过程中出现断点后，利用与所述断点时间最近的所述检查点进行断点恢复。
上述实施例一和实施例二提供的垃圾回收方法可以运行在如图5所示的垃圾回收装置中。
本实施例中以业务类型为粒度构建的回收组件，为不同的业务类型对应不同的回收组件，基于这些组件进行垃圾回收，可以灵活地对业务类型进行扩展，可以实现对异构的业务类型的回收，通用性较高。
本实施例中，基于回收组件对垃圾进行回收，能适应现有大数据开放处理平台中对大量异构类型垃圾回收的要求，基于回收组件具有的热插拔功能，具有很强的动态扩展性，能够对产生的新业务类型的垃圾有效支持，从而适用于大数据处理环境。当在垃圾回收的过程中，如果出现异常情况，导致垃圾回收的过程被中断，可以根据最近的检查点进行断点恢复。
实施例五
如图6所示，其为本发明实施例五的垃圾回收装置的结构示意图。该垃圾回收装置包括：扫描仪21、调度器22和执行器23。
其中，扫描仪21，用于获取所有的业务项目所包括的目标业务类型；其中，不同的业务类型对应不同的回收组件。
调度器22，用于确定与各目标业务类型所对应的目标回收组件。
执行器23，用于利用各目标回收组件对所对应的目标业务类型的垃圾进行回收。
进一步地，执行器22，用于在所述扫描仪获取所有的业务项目所包括的业务类型之前，为不同的业务类型构建对应的回收组件，其中，一个业务类型至少对应一个回收组件。
执行器22，具体用于为具有相同的垃圾回收逻辑的所有的业务类型，构建一个与其对应的回收组件，为其他的每个业务类型分别构建与其对应的回收组件。
其中，所述具有相同的垃圾回收垃圾的所有的业务类型复用与其对应的回收组件。
扫描仪21，具体用于对所有的业务项目进行扫描，将扫描结果生成业务项目列表；其中，所述业务项目列表中包括所有的业务项目所包括的所述目标业务类型。
调度器22，具体用于在所述扫描仪生成所述业务项目列表后，用于判断所述业务项目列表中是否存在新的目标业务类型，以及在判断出存在所述新的目标业务类型时，获取与所述新的目标业务类型对应新的目标回收组件。
调度器23，还具体用于在判断出未存在所述新的目标业务类型时，根据所述业务项目列表中获取每个业务项目已删除的目标业务类型，以及判断所述已删除的目标业务类型对应的的目标回收组件是否被所述业务项目列表中其他的目标业务类型所复用，在判断所述已删除的业务类型对应的目标回收组件未被复用时，将所述已删除的业务类型对应的目标回收组件进行删除，以及为所述业务项目列表中其他的目标业务类型确定与其对应的目标回收组件，其中所述其他的目标业务类型为所述业务项目列表中除所述新的目标业务类型和已删除的目标业务类型之外的目标业务类型，并将每个业务项目所包括的目标业务类型作为一个任务分配给所述执行器。
执行器23，具体用于接收所述调度器分配的任务，将任务分配到对应的所有目标回收组件中，加载所有的目标回收组件，为各目标回收组件分配所需的线程池，以及启动各目标回收组件使用所分配的所述线程池执行所述垃圾回收逻辑对所对应的目标业务类型的垃圾进行回收。
该垃圾回收装置还包括：故障处理器24。
故障处理器24，用于在利用各目标回收组件对所对应的目标业务类型的垃圾进行回收的过程中，监控垃圾回收进度并将监控到的所述垃圾回收进度作为为一个检查点。
故障处理器24，还用于在垃圾回收的过程中出现断点后，利用与所述断点时间最近的所述检查点进行断点恢复。
上述实施例一和实施例二提供的垃圾回收方法可以运行在如图5所示的垃圾回收装置中。
本实施例中以业务类型为粒度构建的回收组件，为不同的业务类型对应不同的回收组件，基于这些组件进行垃圾回收，可以灵活地对业务类型进行扩展，可以实现对异构的业务类型的回收，通用性较高。
本实施例中，基于回收组件对垃圾进行回收，能适应现有大数据开放处理平台中对大量异构类型垃圾回收的要求，基于回收组件具有的热插拔功能，具有很强的动态扩展性，能够对产生的新业务类型的垃圾有效支持，从而适用于大数据处理环境。当在垃圾回收的过程中，如果出现异常情况，导致垃圾回收的过程被中断，可以根据最近的检查点进行断点恢复。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (27)

1.一种大数据开放平台中的垃圾回收方法，其特征在于，包括：
获取所有的大数据业务项目所包括的目标业务类型；其中，不同的业务类型对应不同的回收组件；
确定与各目标业务类型所对应的目标回收组件；
利用各目标回收组件对所对应的目标业务类型的垃圾进行回收。
2.根据权利要求1所述的方法，其特征在于，所述获取所有的业务项目所包括的业务类型之前，包括：
为不同的业务类型构建对应的回收组件，其中，一个业务类型至少对应一个回收组件。
3.根据权利要求2所述的方法，其特征在于，为不同的业务类型构建对应的回收组件，包括：
为具有相同的垃圾回收逻辑的所有的业务类型，构建一个与其对应的回收组件；其中，所述具有相同的垃圾回收垃圾的所有业务类型复用与其对应的回收组件；
为其他的每个业务类型分别构建与其对应的回收组件。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述获取所有的业务项目所包括的目标业务类型包括：
对所有的业务项目进行扫描；
将扫描结果生成业务项目列表；其中，所述业务项目列表中包括所有的业务项目所包括的所述目标业务类型。
5.根据权利要求4所述的方法，其特征在于，所述确定与所述目标业务类型对应的目标回收组件，包括：
判断所述业务项目列表中是否存在新的目标业务类型；
如果判断结果为是，获取与所述新的目标业务类型对应新的目标回收组件。
6.根据权利要求5所述的方法，其特征在于，还包括：
如果判断结果为未存在所述新的目标业务类型，根据所述业务项目列表中获取每个业务项目已删除的目标业务类型；
判断所述已删除的目标业务类型对应的目标回收组件是否被所述业务项目列表中其他的目标业务类型所复用；
如果判断结果为否，将所述已删除的目标业务类型对应的目标回收组件进行删除；
为所述业务项目列表中其他的目标业务类型确定与其对应的目标回收组件；其中，所述其他的目标业务类型为所述业务项目列表中除所述新的目标业务类型和已删除的目标业务类型之外的目标业务类型。
7.根据权利要求1-3任一项所述的方法，其特征在于，所述利用所述目标回收组件对所述目标业务类型的垃圾进行回收，包括：
将每个业务项目所包括的目标业务类型作为一个任务分配到对应的所有目标回收组件中；
加载所有的目标回收组件；
为各目标回收组件分配所需的线程池；
启动各目标回收组件使用所分配的所述线程池执行所述垃圾回收逻辑对所对应的目标业务类型的垃圾进行回收。
8.根据权利要求7所述的方法，其特征在于，还包括：
在利用各目标回收组件对所对应的目标业务类型的垃圾进行回收的过程中，监控垃圾回收进度并将监控到的所述垃圾回收进度作为一个检查点。
9.根据权利要求8所述的方法，其特征在于，所述在利用各目标回收组件对所对应的目标业务类型的垃圾进行回收的过程中，监控垃圾回收进度并将监控到的所述垃圾回收进度作为一个检查点之后，包括：
在垃圾回收的过程中出现断点后，利用与所述断点时间最近的所述检查点进行断点恢复。
10.一种大数据开放平台中的垃圾回收装置，其特征在于，包括：
获取模块，用于获取所有的大数据业务项目所包括的目标业务类型；其中，不同的业务类型对应不同的回收组件；
确定模块，用于确定与各目标业务类型所对应的目标回收组件；
回收模块，用于利用各目标回收组件对所对应的目标业务类型的垃圾进行回收。
11.根据权利要求10所述的装置，其特征在于，还包括：
构建模块，用于在所述获取模块获取所有的业务项目所包括的业务类型之前，为不同的业务类型构建对应的回收组件，其中，一个业务类型至少对应一个回收组件。
12.根据权利要求11所述的装置，其特征在于，所述构建模块，具体用于为具有相同的垃圾回收逻辑的所有的业务类型，构建一个与其对应的回收组件，为其他的每个业务类型分别构建与其对应的回收组件；
其中，所述具有相同的垃圾回收垃圾的所有的业务类型复用与其对应的回收组件。
13.根据权利要求10-12任一项所述的装置，其特征在于，所述获取模块包括：
扫描单元，用于对所有的业务项目进行扫描；
生成单元，用于将扫描结果生成业务项目列表；
其中，所述业务项目列表中包括所有的业务项目所包括的所述目标业务类型。
14.根据权利要求13所述的装置，其特征在于，所述确定模块包括：
判断单元，用于判断所述业务项目列表中是否存在新的目标业务类型；
获取单元，用于在所述判断单元判断出存在所述新的目标业务类型时，获取与所述新的目标业务类型对应新的目标回收组件。
15.根据权利要求14所述的装置，其特征在于，所述获取单元，还用于在所述判断单元判断出未存在所述新的目标业务类型时，根据所述业务项目列表中获取每个业务项目已删除的目标业务类型；
所述判断单元，还用于判断所述已删除的目标业务类型对应的目标回收组件是否被所述业务项目列表中其他的目标业务类型所复用；
所述确定模块，还包括：
删除单元，用于在所述判断单元判断所述已删除的业务类型对应的目标回收组件未被复用时，将所述已删除的业务类型对应的目标回收组件进行删除；
确定单元，用于为所述业务项目列表中其他的目标业务类型确定与其对应的目标回收组件，其中所述其他的目标业务类型为所述业务项目列表中除所述新的目标业务类型和已删除的目标业务类型之外的目标业务类型。
16.根据权利要求10-12任一项所述的装置，其特征在于，所述回收模块包括：
分配单元，用于将每个业务项目所包括的目标业务类型作为一个任务分配到对应的所有目标回收组件中；
加载单元，用于加载所有的目标回收组件；
线程分配单元，用于为各目标回收组件分配所需的线程池；
执行单元，用于启动各目标回收组件使用所分配的所述线程池执行所述垃圾回收逻辑对所对应的目标业务类型的垃圾进行回收。
17.根据权利要求16所述的装置，其特征在于，还包括：
监控模块，用于在利用各目标回收组件对所对应的目标业务类型的垃圾进行回收的过程中，监控垃圾回收进度并将监控到的所述垃圾回收进度作为一个检查点。
18.根据权利要求17所述的装置，其特征在于，还包括：
断点恢复模块，用于在垃圾回收的过程中出现断点后，利用与所述断点时间最近的所述检查点进行断点恢复。
19.一种大数据开放平台中的垃圾回收装置，其特征在于，包括：
扫描仪，用于获取所有的大数据业务项目所包括的目标业务类型；其中，不同的业务类型对应不同的回收组件；
调度器，用于确定与各目标业务类型所对应的目标回收组件；
执行器，用于利用各目标回收组件对所对应的目标业务类型的垃圾进行回收。
20.根据权利要求19所述的装置，其特征在于，所述执行器，还用于在所述扫描仪获取所有的业务项目所包括的业务类型之前，为不同的业务类型构建对应的回收组件，其中，一个业务类型至少对应一个回收组件。
21.根据权利要求20所述的装置，其特征在于，所述执行器，具体用于为具有相同的垃圾回收逻辑的所有的业务类型，构建一个与其对应的回收组件，为其他的每个业务类型分别构建与其对应的回收组件；
其中，所述具有相同的垃圾回收垃圾的所有的业务类型复用与其对应的回收组件。
22.根据权利要求19-21任一项所述的装置，其特征在于，所述扫描仪，具体用于对所有的业务项目进行扫描，将扫描结果生成业务项目列表；其中，所述业务项目列表中包括所有的业务项目所包括的所述目标业务类型。
23.根据权利要求22所述的装置，其特征在于，所述调度器，具体用于在所述扫描仪生成所述业务项目列表后，用于判断所述业务项目列表中是否存在新的目标业务类型，以及在判断出存在所述新的目标业务类型时，获取与所述新的目标业务类型对应新的目标回收组件。
24.根据权利要求23所述的装置，其特征在于，所述调度器，还具体用于在判断出未存在所述新的目标业务类型时，根据所述业务项目列表中获取每个业务项目已删除的目标业务类型，以及判断所述已删除的目标业务类型对应的目标回收组件是否被所述业务项目列表中其他的目标业务类型所复用，在判断所述已删除的业务类型对应的目标回收组件未被复用时，将所述已删除的业务类型对应的目标回收组件进行删除，以及为所述业务项目列表中其他的目标业务类型确定与其对应的目标回收组件，其中所述其他的目标业务类型为所述业务项目列表中除所述新的目标业务类型和已删除的目标业务类型之外的目标业务类型，并将每个业务项目所包括的目标业务类型作为一个任务分配给所述执行器。
25.根据权利要求19-21任一项所述的装置，其特征在于，所述执行器，具体用于接收所述调度器分配的任务，将任务分配到对应的所有目标回收组件中，加载所有的目标回收组件，为各目标回收组件分配所需的线程池，以及启动各目标回收组件使用所分配的所述线程池执行所述垃圾回收逻辑对所对应的目标业务类型的垃圾进行回收。
26.根据权利要求25所述的装置，其特征在于，还包括：
故障处理器，用于在利用各目标回收组件对所对应的目标业务类型的垃圾进行回收的过程中，监控垃圾回收进度并将监控到的所述垃圾回收进度作为一个检查点。
27.根据权利要求26所述的装置，其特征在于，所述故障处理器，还用于在垃圾回收的过程中出现断点后，利用与所述断点时间最近的所述检查点进行断点恢复。
CN201610154498.6A 2016-03-17 2016-03-17 垃圾回收方法及装置 Active CN107203552B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201610154498.6A CN107203552B (zh) 2016-03-17 2016-03-17 垃圾回收方法及装置
TW106104934A TWI794158B (zh) 2016-03-17 2017-02-15 垃圾回收方法及裝置
US16/085,510 US11119911B2 (en) 2016-03-17 2017-03-07 Garbage collection method and device
EP17765741.8A EP3432159B1 (en) 2016-03-17 2017-03-07 Garbage collection method and device
PCT/CN2017/075830 WO2017157199A1 (zh) 2016-03-17 2017-03-07 垃圾回收方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610154498.6A CN107203552B (zh) 2016-03-17 2016-03-17 垃圾回收方法及装置

Publications (2)

Publication Number Publication Date
CN107203552A CN107203552A (zh) 2017-09-26
CN107203552B true CN107203552B (zh) 2021-12-28

Family

ID=59852028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610154498.6A Active CN107203552B (zh) 2016-03-17 2016-03-17 垃圾回收方法及装置

Country Status (5)

Country Link
US (1) US11119911B2 (zh)
EP (1) EP3432159B1 (zh)
CN (1) CN107203552B (zh)
TW (1) TWI794158B (zh)
WO (1) WO2017157199A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10594991B1 (en) 2018-01-09 2020-03-17 Wm Intellectual Property Holdings, Llc System and method for managing service and non-service related activities associated with a waste collection, disposal and/or recycling vehicle
US10635523B2 (en) * 2018-02-23 2020-04-28 International Business Machines Corporation Fast recovery from failures in a chronologically ordered log-structured key-value storage system
US10642680B2 (en) 2018-02-23 2020-05-05 International Business Machines Corporation Chronologically ordered log-structured key-value store from failures during garbage collection
US11475416B1 (en) 2019-08-23 2022-10-18 Wm Intellectual Property Holdings Llc System and method for auditing the fill status of a customer waste container by a waste services provider during performance of a waste service activity
KR20210101982A (ko) * 2020-02-11 2021-08-19 삼성전자주식회사 스토리지 장치 및 메모리 컨트롤러의 동작 방법
US11386362B1 (en) 2020-12-16 2022-07-12 Wm Intellectual Property Holdings, L.L.C. System and method for optimizing waste / recycling collection and delivery routes for service vehicles
US11928693B1 (en) 2021-03-09 2024-03-12 Wm Intellectual Property Holdings, L.L.C. System and method for customer and/or container discovery based on GPS drive path analysis for a waste / recycling service vehicle
US11373536B1 (en) 2021-03-09 2022-06-28 Wm Intellectual Property Holdings, L.L.C. System and method for customer and/or container discovery based on GPS drive path and parcel data analysis for a waste / recycling service vehicle
US11488118B1 (en) 2021-03-16 2022-11-01 Wm Intellectual Property Holdings, L.L.C. System and method for auditing overages and contamination for a customer waste container by a waste services provider during performance of a waste service activity

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722417A (zh) * 2012-06-07 2012-10-10 腾讯科技（深圳）有限公司 一种扫描任务的分配方法和装置
CN103927198A (zh) * 2014-03-19 2014-07-16 北京奇虎科技有限公司 一种软件清理方法及装置
CN104156414A (zh) * 2014-07-30 2014-11-19 珠海市君天电子科技有限公司 一种垃圾文件的清理方法、装置及终端

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6519594B1 (en) * 1998-11-14 2003-02-11 Sony Electronics, Inc. Computer-implemented sharing of java classes for increased memory efficiency and communication method
US6636242B2 (en) 1999-08-31 2003-10-21 Accenture Llp View configurer in a presentation services patterns environment
US7020697B1 (en) 1999-10-01 2006-03-28 Accenture Llp Architectures for netcentric computing systems
US6907546B1 (en) 2000-03-27 2005-06-14 Accenture Llp Language-driven interface for an automated testing framework
US6990513B2 (en) 2000-06-22 2006-01-24 Microsoft Corporation Distributed computing services platform
US7197565B2 (en) 2001-01-22 2007-03-27 Sun Microsystems, Inc. System and method of using a pipe advertisement for a peer-to-peer network entity in peer-to-peer presence detection
US6946715B2 (en) 2003-02-19 2005-09-20 Micron Technology, Inc. CMOS image sensor and method of fabrication
US7487509B2 (en) 2002-08-08 2009-02-03 Sun Microsystems, Inc. System and method for providing multiple embodiments of abstract software modules in peer-to-peer network environments
US7263560B2 (en) 2002-08-30 2007-08-28 Sun Microsystems, Inc. Decentralized peer-to-peer advertisement
US7657597B2 (en) 2002-09-26 2010-02-02 Sun Microsystems, Inc. Instant messaging using distributed indexes
US7206934B2 (en) 2002-09-26 2007-04-17 Sun Microsystems, Inc. Distributed indexing of identity information in a peer-to-peer network
US8204992B2 (en) 2002-09-26 2012-06-19 Oracle America, Inc. Presence detection using distributed indexes in peer-to-peer networks
US8037202B2 (en) 2002-10-31 2011-10-11 Oracle America, Inc. Presence detection using mobile agents in peer-to-peer networks
US7395536B2 (en) 2002-11-14 2008-07-01 Sun Microsystems, Inc. System and method for submitting and performing computational tasks in a distributed heterogeneous networked environment
US7533141B2 (en) 2003-01-24 2009-05-12 Sun Microsystems, Inc. System and method for unique naming of resources in networked environments
US7774495B2 (en) 2003-02-13 2010-08-10 Oracle America, Inc, Infrastructure for accessing a peer-to-peer network environment
CA2504333A1 (en) 2005-04-15 2006-10-15 Symbium Corporation Programming and development infrastructure for an autonomic element
US8452929B2 (en) * 2005-04-21 2013-05-28 Violin Memory Inc. Method and system for storage of data in non-volatile media
EP1717706A1 (en) * 2005-04-29 2006-11-02 Alcatel Method to reduce the latency caused by garbage collection in a java virtual machine
US20070204078A1 (en) 2006-02-09 2007-08-30 Intertrust Technologies Corporation Digital rights management engine systems and methods
US8904359B2 (en) 2008-03-06 2014-12-02 International Business Machines Corporation On-demand monitoring of memory usage
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9183560B2 (en) 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
US9686255B2 (en) 2010-07-21 2017-06-20 Citrix Systems, Inc. Systems and methods for an extensible authentication framework
US8825720B1 (en) * 2011-04-12 2014-09-02 Emc Corporation Scaling asynchronous reclamation of free space in de-duplicated multi-controller storage systems
US10354258B2 (en) 2011-09-08 2019-07-16 Jack L. Marovets System, method, and apparatus for integrating real world and virtual world advertising and marketing, which includes a coupon exchange option
CN103324639A (zh) * 2012-03-23 2013-09-25 腾讯科技（深圳）有限公司 清理垃圾项目的方法及装置
CN103678349B (zh) * 2012-09-10 2017-09-26 腾讯科技（深圳）有限公司 一种垃圾数据过滤方法和装置
US20140115291A1 (en) * 2012-10-19 2014-04-24 Advanced Micro Devices, Inc. Numa optimization for garbage collection of multi-threaded applications
JP6005566B2 (ja) * 2013-03-18 2016-10-12 株式会社東芝 情報処理システム、制御プログラムおよび情報処理装置
CN103336744B (zh) 2013-06-20 2015-11-04 华中科技大学 一种固态存储设备的垃圾回收方法及其系统
US9361224B2 (en) * 2013-09-04 2016-06-07 Red Hat, Inc. Non-intrusive storage of garbage collector-specific management data
CN103559443B (zh) * 2013-11-01 2017-07-14 北京奇虎科技有限公司 多核设备的病毒扫描方法和装置
CN103617023B (zh) * 2013-11-20 2016-02-17 北京先进数通信息技术股份公司 一种系统垃圾资源的回收方法和装置
US9032410B1 (en) * 2014-08-19 2015-05-12 Xamarin Inc. Non-precise garbage collection in non-cooperative systems
CN104408201B (zh) * 2014-12-16 2017-09-19 北京奇虎科技有限公司 垃圾文件的清理方法及装置
US9823994B2 (en) 2015-12-22 2017-11-21 International Business Machines Corporation Dynamically identifying performance anti-patterns
US10990518B1 (en) * 2016-03-31 2021-04-27 EMC IP Holding Company LLC Method and system for I/O parallel distributed garbage collection of a deduplicated datasets
US20180024964A1 (en) 2016-07-19 2018-01-25 Pure Storage, Inc. Disaggregated compute resources and storage resources in a storage system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722417A (zh) * 2012-06-07 2012-10-10 腾讯科技（深圳）有限公司 一种扫描任务的分配方法和装置
CN103927198A (zh) * 2014-03-19 2014-07-16 北京奇虎科技有限公司 一种软件清理方法及装置
CN104156414A (zh) * 2014-07-30 2014-11-19 珠海市君天电子科技有限公司 一种垃圾文件的清理方法、装置及终端

Also Published As

Publication number Publication date
EP3432159A1 (en) 2019-01-23
CN107203552A (zh) 2017-09-26
US11119911B2 (en) 2021-09-14
TW201734900A (zh) 2017-10-01
WO2017157199A1 (zh) 2017-09-21
EP3432159A4 (en) 2019-09-25
EP3432159B1 (en) 2022-11-30
US20190196965A1 (en) 2019-06-27
TWI794158B (zh) 2023-03-01

Similar Documents

Publication Publication Date Title
CN107203552B (zh) 垃圾回收方法及装置
EP3180695B1 (en) Systems and methods for auto-scaling a big data system
US8261266B2 (en) Deploying a virtual machine having a virtual hardware configuration matching an improved hardware profile with respect to execution of an application
CN106874084B (zh) 一种分布式工作流调度的方法、装置及计算机设备
CN107306277B (zh) 一种服务器同步扩容的方法及装置
WO2012025977A1 (ja) スケジュール管理方法及びスケジュール管理サーバ
CN104461744A (zh) 一种资源分配方法及装置
CN110119306B (zh) 作业自动调度均衡方法、装置、设备及存储介质
CN101719079A (zh) 一种处理任务的方法及装置
CN103780696A (zh) 基于分布式推送的云监控方法、装置及系统
CN110895487B (zh) 分布式任务调度系统
CN104917639A (zh) 基于集群监控分配数据业务方法及装置
CN110895483A (zh) 任务恢复方法及装置
CN110890987A (zh) 自动创建集群的方法、装置、设备和系统
CN110895486B (zh) 分布式任务调度系统
US10785102B2 (en) Modifying distributed application based on cloud diagnostic data
CN109725916B (zh) 流处理的拓扑结构更新系统和方法
CN110895485A (zh) 任务调度系统
CN105740054A (zh) 一种虚拟机管理方法及装置
CN108154343B (zh) 一种企业级信息系统的应急处理方法及系统
CN109684058B (zh) 一种针对多租户可线性扩展的高效爬虫平台及其使用方法
US20210049240A1 (en) Highly available policy agent for backup and restore operations
CN112463312A (zh) 一种定时任务的动态维护系统和方法、介质、计算设备
CN107608662B (zh) 基于MongoDB的分布式计时系统
CN111163117A (zh) 一种基于Zookeeper的对等式调度方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant