CN113806093A - 内容标签计算任务的分配计算方法以及相关装置 - Google Patents
内容标签计算任务的分配计算方法以及相关装置 Download PDFInfo
- Publication number
- CN113806093A CN113806093A CN202111106556.5A CN202111106556A CN113806093A CN 113806093 A CN113806093 A CN 113806093A CN 202111106556 A CN202111106556 A CN 202111106556A CN 113806093 A CN113806093 A CN 113806093A
- Authority
- CN
- China
- Prior art keywords
- content tag
- calculation
- content
- tag calculation
- subtask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 418
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005034 decoration Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请适用于数据处理技术领域，提供了一种内容标签计算任务的分配计算方法以及相关装置，旨在实现较低成本情况下提高对作品的内容标签计算速度。本申请实施例的方法应用于分布式系统中的主机时，主要包括：将内容标签计算任务按照第一预设规则进行拆分，得到一个或多个内容标签计算子任务；按照第二预设规则将所述内容标签计算子任务与所述分布式系统的从机进行分配，以使得所述分布式系统的设备完成执行所述内容标签计算子任务并返回对应的内容标签计算子结果，所述设备包括所述主机与所述从机；接收所述内容标签计算子结果；将所述内容标签计算子结果进行汇总，得到内容标签计算结果。
Description
技术领域
本申请属于数据处理技术领域，尤其涉及内容标签计算任务的分配计算方法以及相关装置。
背景技术
对用户上传的作品进行内容标签计算是整个内容标签计算系统对计算资源需求最密集的模块，特别是对于装修领域的作品，这些作品的内容类型涉及文字、视频、图片等，其中文字类型又可以分为装修经验分享贴、装修风格体验、装修企业推文等种类标签，视频或图片的内容类型也可以根据实际情况分别属于不同的种类标签。现有技术中对上述作品进行内容标签计算的过程往往是一台高性能的服务器单独处理，这就要求该服务器性能高，以便能快速且稳定地完成对作品的内容标签计算，但服务器的性能越高成本越大。
可见，现有技术中受限于服务器的计算资源，不能在较低成本情况下提高对作品的内容标签计算的速度。
发明内容
本申请的目的在于提供一种内容标签计算任务的分配计算方法以及相关装置，旨在实现较低成本情况下提高对作品的内容标签计算速度。
本申请是这样实现的：
本申请第一方面提供一种内容标签计算任务的分配计算方法，应用于分布式系统中的主机，包括：
将内容标签计算任务按照第一预设规则进行拆分，得到一个或多个内容标签计算子任务；
按照第二预设规则将所述内容标签计算子任务与所述分布式系统的从机进行分配，以使得所述分布式系统的设备完成执行所述内容标签计算子任务并返回对应的内容标签计算子结果，所述设备包括所述主机与所述从机；
接收所述内容标签计算子结果；
将所述内容标签计算子结果进行汇总，得到内容标签计算结果。
可选的，所述将内容标签计算任务按照第一预设规则进行拆分，得到一个或多个内容标签计算子任务，包括：
按照所述内容标签计算任务中内容的排列顺序，以目标内容数量为界拆分所述内容标签计算任务，得到一个或多个所述内容标签计算子任务。
可选的，所述按照第二预设规则将所述内容标签计算子任务与所述分布式系统的从机进行分配，以使得所述分布式的设备完成执行所述内容标签计算子任务并返回对应的内容标签计算子结果，包括：
将所述内容标签计算子任务按照其在所述内容标签计算任务中的先后顺序依次放入任务队列，以使得所述分布式系统的所述设备对所述任务队列中的所述内容标签计算子任务进行抢占执行，并在完成执行后返回对应的内容标签计算子结果。
可选的，所述将所述内容标签计算子结果进行汇总，得到内容标签计算结果包括：
当接收到所述设备返回的所述内容标签计算子结果时，计算已接收的内容标签计算子结果的数量占全部发出内容标签计算子任务的数量的比例，得到内容标签计算任务进度；
展示所内容标签计算任务进度；
当已接收的内容标签计算子结果的数量等于全部发出内容标签计算子任务的数量时，对所有所述内容标签计算子结果进行合并汇总，得到内容标签计算结果。
本申请第二方面提供一种内容标签计算任务的分配计算方法，应用于分布式系统中的从机，包括：
监测所述分布式系统中主机的任务队列；
当所述任务队列中存在内容标签计算子任务时，尝试获取所述内容标签计算子任务；
当获取到所述内容标签计算子任务时，则执行所述内容标签计算子任务得到内容标签计算子结果，向所述主机返回对应的内容标签计算子结果。
可选的，在获取到所述内容标签计算子任务之后，执行所述内容标签计算子任务之前，所述方法还包括：
对所述内容标签计算子任务进行复制，得到备份内容标签计算子任务；
触发执行所述内容标签计算子任务的步骤；
若成功执行所述内容标签计算子任务，得到所述内容标签计算子结果，则触发向所述主机返回对应的内容标签计算子结果的步骤，删除所述备份内容标签计算子任务；
若失败执行所述内容标签计算子任务，将所述备份内容标签计算子任务作为新的内容标签计算子任务，触发执行对所述内容标签计算子任务进行复制的步骤。
可选的，在触发执行对所述内容标签计算子任务进行复制的步骤之后，所述方法还包括：
对所述触发执行对所述内容标签计算子任务进行复制的步骤进行次数统计，得到触发执行次数；
当所述触发执行次数达到或超过预设次数时，向所述主机发送任务执行失败信息
本申请第三方面提供一种内容标签计算任务的分配计算装置，应用于分布式系统中的主机，包括：
拆分单元，用于将内容标签计算任务按照第一预设规则进行拆分，得到一个或多个内容标签计算子任务；
分配单元，用于按照第二预设规则将所述内容标签计算子任务与所述分布式系统的从机进行分配，以使得所述分布式系统的设备完成执行所述内容标签计算子任务并返回对应的内容标签计算子结果，所述设备包括所述主机与所述从机；
接收单元，用于接收所述内容标签计算子结果；
汇总单元，用于将所述内容标签计算子结果进行汇总，得到内容标签计算结果。
可选的，所述拆分单元将内容标签计算任务按照第一预设规则进行拆分，得到一个或多个内容标签计算子任务时，具体用于：
按照所述内容标签计算任务中内容的排列顺序，以目标内容数量为界拆分所述内容标签计算任务，得到一个或多个所述内容标签计算子任务。
可选的，所述分配单元按照第二预设规则将所述内容标签计算子任务与所述分布式系统的从机进行分配，以使得所述分布式系统的设备完成执行所述内容标签计算子任务并返回对应的内容标签计算子结果时，具体用于：
将所述内容标签计算子任务按照其在所述内容标签计算任务中的先后顺序依次放入任务队列，以使得所述分布式系统的所述设备对所述任务队列中的所述内容标签计算子任务进行抢占执行，并在完成执行后返回对应的内容标签计算子结果。
可选的，所述汇总单元将所述内容标签计算子结果进行汇总，得到内容标签计算结果时，具体用于：
当接收到所述设备返回的所述内容标签计算子结果时，计算已接收的内容标签计算子结果的数量占全部发出内容标签计算子任务的数量的比例，得到内容标签计算任务进度；
展示所内容标签计算任务进度；
当已接收的内容标签计算子结果的数量等于全部发出内容标签计算子任务的数量时，对所有所述内容标签计算子结果进行合并汇总，得到内容标签计算结果。
本申请第四方面提供一种内容标签计算任务的分配计算装置，应用于分布式系统中的从机，包括：
监测单元，用于监测所述分布式系统中主机的任务队列；
获取单元，用于当所述任务队列中存在内容标签计算子任务时，尝试获取所述内容标签计算子任务；
执行单元，用于当获取到所述内容标签计算子任务时，则执行所述内容标签计算子任务得到内容标签计算子结果；
返回单元，用于向所述主机返回对应的内容标签计算子结果。
可选的，所述装置还包括：
复制单元，用于对所述内容标签计算子任务进行复制，得到备份内容标签计算子任务；
触发单元，用于触发执行所述内容标签计算子任务的步骤；
触发单元，还用于若成功执行所述内容标签计算子任务，得到所述内容标签计算子结果，则触发向所述主机返回对应的内容标签计算子结果的步骤；
删除单元，用于删除所述备份内容标签计算子任务；
作为单元，用于若失败执行所述内容标签计算子任务，将所述备份内容标签计算子任务作为新的内容标签计算子任务；
触发单元，还用于触发执行对所述内容标签计算子任务进行复制的步骤。
可选的，所述装置还包括：
统计单元，用于对所述触发执行对所述内容标签计算子任务进行复制的步骤进行次数统计，得到触发执行次数；
返回单元，用于当所述触发执行次数达到或超过预设次数时，向所述主机发送任务执行失败信息。
本申请第五方面提供一种计算机设备，包括：
处理器、存储器、总线、输入输出接口、无线网络接口；
所述处理器通过总线与所述存储器、所述输入输出接口、所述无线网络接口相连；
所述存储器中存储有程序；
所述处理器执行所述存储器中存储的所述程序时，实现前述第一方面和/或第二方面中任意一项所述内容标签计算任务的分配计算方法。
本申请第六方面提供一种计算机可读存储介质，所述计算机存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行如前述第一方面和/或第二方面中任意一项所述内容标签计算任务的分配计算方法。
本申请第七方面提供一种计算机程序产品，所述计算机程序产品在计算机上执行时，使得所述计算机执行如前述第一方面和/或第二方面中任意一项所述内容标签计算任务的分配计算方法。
以上技术方案可以看出，本申请实施例具有以下优点：
本申请内容标签计算任务的分配计算方法应用于分布式系统中的主机时，通过将内容标签计算任务按照第一预设规则进行拆分，得到一个或多个内容标签计算子任务，再按照第二预设规则将所述内容标签计算子任务与所述分布式系统的从机进行分配，以使得所述分布式系统的设备完成执行所述内容标签计算子任务并返回对应的内容标签计算子结果，然后接收该内容标签计算子结果，并将内容标签计算子结果进行汇总，得到内容标签计算结果，其中设备包括主机与从机。可见，由于本申请内容标签计算任务的分配计算方法采用分布式系统对内容标签计算任务进行分布式计算，分布式系统的各个设备的性能不需要很强，只要设备的数量足够多，设备的总体成本也比一台非常高性能的服务器要低，实现了较低成本情况下提高对作品的内容标签计算的速度。
附图说明
图1是本申请内容标签计算任务的分配计算方法应用于主机时的一个实施例流程示意图；；
图2是本申请内容标签计算任务的分配计算方法应用于从机时的一个实施例流程示意图；
图3是本申请内容标签计算任务的分配计算方法的一个实施例交互流程示意图；
图4为本申请内容标签计算任务的分配计算装置应用于主机时的一个实施例结构示意图；
图5为本申请内容标签计算任务的分配计算装置应用于从机时的一个实施例结构示意图；
图6为本申请计算机设备的一个实施例结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者可能同时存在居中元件。当一个元件被称为“连接于”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。
还需要说明的是，本实施例中的左、右、上、下等方位用语，仅是互为相对概念或是以产品的正常使用状态为参考的，而不应该认为是具有限制性的。
本申请内容标签计算任务的分配计算方法应用于分布式系统中，所谓分布式系统是指由一台以上的计算机设备相互通信连接起来的计算机设备集合，计算机设备相互通信连接的方式可以为有线网络或无线网络。在分布式系统中的每一台计算机设备均可以独立运行，其他计算机设备也可以在被指定为主机的计算机设备控制下运行，当有一台计算机设备被指定为主机时，分布式系统中其他的计算机设备可以被称为从机。
请参阅图1，本申请内容标签计算任务的分配计算方法应用于分布式系统中主机时的一个实施例，包括：
101、将内容标签计算任务按照第一预设规则进行拆分，得到一个或多个内容标签计算子任务。
所谓内容标签计算任务是指对用户、作品等对象进行打标签的过程。本步骤可以将要执行的内容标签计算任务按照第一预设规则进行拆分，得到一个或多个内容标签计算子任务。所谓第一预设规则可以是按照内容标签计算任务的预估任务时长、预估任务数量等属性参数进行拆分，在此对第一预设规则不做具体限制。
102、按照第二预设规则将内容标签计算子任务与分布式系统的从机进行分配，以使得分布式系统的设备完成执行内容标签计算子任务并返回对应的内容标签计算子结果，设备包括主机与从机。
在步骤101得到一个或多个内容标签计算子任务之后，本步骤按照第二预设规则将内容标签计算子任务与分布式系统的从机进行分配，实现将一个内容标签计算任务与分布式系统的各个设备进行合作执行，大大地降低了对设备的性能要求，并且可以大幅度提高执行速度，分布式系统中获取内容标签计算子任务的每一台设备完成执行内容标签计算子任务并返回对应的内容标签计算子结果，此处设备是指分布式系统中的主机和从机。所谓第二预设规则可以是主机和从机协定的对内容标签计算子任务的任何分配规则，此处对第二预设规则不做进一步限定。
103、接收内容标签计算子结果。
接收步骤102中分布式系统中获取内容标签计算子任务的每一台设备返回的内容标签计算子结果。
104、将内容标签计算子结果进行汇总，得到内容标签计算结果。
由于步骤101将内容标签计算任务按照第一预设规则进行拆分成一个或多个内容标签计算子任务，步骤103中返回的是内容标签计算子任务对应的内容标签计算子结果，所以本步骤需要将所有内容标签计算子结果进行汇总，以便得到内容标签计算任务对应的内容标签计算结果。需要说明的是，本步骤对内容标签计算子结果的汇总规则可以根据步骤101中第一预设规则的不同而对应不同，但应保证得到的内容标签计算结果与一台高性能的设备单独对该内容标签计算任务进行计算后得到的结果一致。
可见，由于本申请内容标签计算任务的分配计算方法采用分布式系统对内容标签计算任务进行分布式计算，分布式系统的各个设备的性能不需要很强，只要设备的数量足够多，设备的总体成本也比一台非常高性能的服务器要低，实现了较低成本情况下提高对作品的内容标签计算的速度。
请参阅图2，本申请内容标签计算任务的分配计算方法应用于分布式系统中从机时的一个实施例，包括：
201、监测分布式系统中主机的任务队列。
从机实时对分布式系统中主机的任务队列进行监测，以便在第一时间内对该任务队列的任务状态进行获知。
202、当任务队列中存在内容标签计算子任务时，尝试获取内容标签计算子任务。
所谓内容标签计算子任务为：主机按照第一预设规则对内容标签计算任务进行拆分，得到一个或多个内容标签计算子任务。在步骤201中发现该任务队列中存在内容标签计算子任务时，不断尝试对该内容标签计算子任务进行抢占，即从机主动从主机的任务队列中获取内容标签计算子任务。可以理解的是，不同的从机由于自身的计算能力不同，性能越好的从机在一定时长内抢到的内容标签计算子任务越多，这符合能者多劳、提高计算速度的要求。
203、当获取到内容标签计算子任务时，则执行内容标签计算子任务得到内容标签计算子结果，向主机返回对应的内容标签计算子结果。
在步骤202尝试获取内容标签计算子任务之后，当获取到内容标签计算子任务时，直接对该内容标签计算子任务执行，性能越好的从机在一定时长内能处理的内容标签计算子任务越快得到内容标签计算子结果，并向主机返回对应的内容标签计算子结果，此时又可以触发执行步骤201，不断循环，从机每次仅获取一个内容标签计算子任务，在执行完成该内容标签计算子任务并向主机返回对应的内容标签计算子结果之后，才会触发执行步骤201。
可见，本申请内容标签计算任务的分配计算方法采用分布式系统对内容标签计算任务进行分布式计算，分布式系统的各个设备的性能不需要很强，只要设备的数量足够多，设备的总体成本也比一台非常高性能的服务器要低，实现了较低成本情况下提高对作品的内容标签计算的速度。
请参阅图3，本申请内容标签计算任务的分配计算方法应用于分布式系统中主机与从机时的一个交互实施例，包括：
301、主机按照内容标签计算任务中内容的排列顺序，以目标内容数量为界拆分内容标签计算任务，得到一个或多个内容标签计算子任务。
通常需要进行内容标签计算的一个作业包含数量不定的内容，这个内容的数量可能是几个，也可能是几百万，在内容数量大的时候不可能一次性计算出来所有内容的数量，所以本步骤需要对作业进行分批次处理。主机可以将一个作业视为一个内容标签计算任务，并按照该作业中内容的排列顺序，以目标内容数量为界拆分该作业，得到一个或多个内容标签计算子任务。具体的，可以由主机的任务管理器(TaskManager)负责以目标内容数量为界拆分内容标签计算任务。例如，任务管理器通过Mongodb的查询性能与标签计算效率之间权衡之后，每个批次的内容数量定在10000，此时目标内容数量为10000，也就是说可以按照10000的步长在Mongodb里面分页查询内容，每个内容标签计算子任务包含最多10000个需要打标签的内容。
需要说明的是，主机所提供的服务以分布式形式部署在所有的设备上，即分布式系统中的每一台设备都可以成为主机，每个设备通过抢占的形式争夺任务调度权限(抢占策略为在zookeeper上创建节点，哪一台设备创建成功就拥有调度权成为主机，其他抢占失败的设备作为某一个内容标签计算任务的从机并监听节点状态，一旦节点小时，所有设备重新抢占)。抢占成功的设备作为主机会接收任务请求并得到内容标签计算任务，执行本步骤将内容标签计算任务拆分，并存储后续步骤的任务队列中，所谓任务队列可以为Redis的List结构。
302、主机将内容标签计算子任务按照其在内容标签计算任务中的先后顺序依次放入任务队列。
将步骤301中主机得到一个或多个内容标签计算子任务之后，主机将内容标签子任务按照其在内容标签计算任务中的先后顺序依次放入任务队列，该任务队列为先进先出队列。例如，主机的任务管理器可以根据内容标签计算子任务在内容标签计算任务中的先后顺序插入任务ID，然后根据任务ID的排序将内容标签计算子任务放入任务队列中，以使得任务队列中位于队首的内容标签计算子任务被优先处理。具体的，内容标签计算子任务在Redis中以一个一个任务ID的形式存储在List中。
303、从机监测主机的任务队列。
从机实时对步骤302中的任务队列进行监测，以便在第一时间内对该任务队列的任务状态进行获知。
304、主机与从机均尝试获取内容标签计算子任务。
值得注意的是，本申请实施例分布式系统中的主机和从机均可以在任务队列存在内容标签计算子任务的时候尝试获取内容标签计算子任务，分布式系统中的设备(主机或从机)自身的计算能力不同，性能越好的设备越能优先抢到的内容标签计算子任务，这符合能者优先、提高计算速度的要求。
305、主机对内容标签计算子任务进行复制，得到备份内容标签计算子任务。
当主机成功获取到内容标签计算子任务之后，为避免对该内容标签计算子任务进行计算过程出现故障，造成内容标签计算子任务的丢失。本步骤对获取到的内容标签计算子任务进行复制，得到备份内容标签计算子任务。本步骤可以将该备份内容标签计算子任务进行指定位置存储，例如将备份内容标签计算子任务加入失败队列中保存，待后续步骤成功处理对应的内容标签计算子任务之后，再对失败队列中的备份内容标签计算子任务进行删除。
306、从机对内容标签计算子任务进行复制，得到备份内容标签计算子任务。
同理，当从机成功获取到内容标签计算子任务之后，为避免对该内容标签计算子任务进行计算过程出现故障，造成内容标签计算子任务的丢失。本步骤对获取到的内容标签计算子任务进行复制，得到备份内容标签计算子任务。本步骤可以将该备份内容标签计算子任务进行指定位置存储，例如将备份内容标签计算子任务加入失败队列中保存，待后续步骤成功处理对应的内容标签计算子任务之后，再对失败队列中的备份内容标签计算子任务进行删除。
307、主机执行内容标签计算子任务。
308、从机执行内容标签计算子任务。
309、主机将备份内容标签计算子任务作为新的内容标签计算子任务。
当主机在步骤307执行内容标签计算子任务失败之后，主机自动根据任务ID从失败队列中找到备份内容标签计算子任务，并将备份内容标签计算子任务作为新的内容标签计算子任务，触发执行步骤305的步骤，进行循环，并对触发执行步骤305的次数进行统计，得到触发执行次数，直到触发执行次数达到或超过预设次数时，则发出任务执行失败信息，以便人工干预。
310、从机将备份内容标签计算子任务作为新的内容标签计算子任务。
当从机在步骤308执行内容标签计算子任务失败之后，从机自动根据任务ID从失败队列中找到备份内容标签计算子任务，并将备份内容标签计算子任务作为新的内容标签计算子任务，触发执行步骤306的步骤，进行循环，并对触发执行步骤306的次数进行统计，得到触发执行次数，直到触发执行次数达到或超过预设次数时，则向主机发出任务执行失败信息，以便人工干预，人工干预得到对应的内容标签计算子结果需要返回主机。
311、主机和/或从机得到内容标签计算子结果。
当主机在步骤307成功执行内容标签计算子任务之后，主机得到内容标签计算子结果，并删除步骤305中的备份内容标签计算子任务；和/或，从机在步骤308成功执行内容标签计算子任务之后，从机向主机返回内容标签计算子结果，并删除步骤306中的备份内容标签计算子任务。
312、主机计算已接收的内容标签计算子结果的数量占全部发出内容标签计算子任务的数量的比例，得到内容标签计算任务进度。
在步骤311接收到内容标签计算子结果之后，主机在本步骤计算已接收的内容标签计算子结果的数量占全部发出内容标签计算子任务的数量的比例，得到内容标签计算任务进度。
313、主机展示内容标签计算任务进度。
主机将步骤312得到的内容标签计算任务进度进行展示，以便用户可以得知内容标签计算任务的处理进度。
314、主机对所有内容标签计算子结果进行合并汇总，得到内容标签计算结果。
当步骤311中主机接收到的内容标签计算子结果的数量等于全部发出内容标签计算子任务的数量时，也就意味至任务队列中的所有内容标签计算子任务都被执行完成并成功接收到对应的内容标签计算子结果，此时主机负责对所有内容标签计算子结果进行合并汇总，具体可以依据内容标签计算子结果的任务ID顺序汇总所有内容标签计算子结果，得到内容标签计算结果。
可见，本申请内容标签计算任务的分配计算方法，可以采用普通的springcloud分布式框架完成，对大数量的内容进行分布式标签计算，充分发挥利用设备的机器性能，采用分布式系统对内容标签计算任务进行分布式计算，分布式系统的各个设备的性能不需要很强，只要设备的数量足够多，设备的总体成本也比一台非常高性能的服务器要低，实现了较低成本情况下提高对作品的内容标签计算的速度。
上述实施例对本申请内容标签计算任务的分配计算方法进行了描述说明，下面对本申请内容标签计算任务的分配计算装置进行描述，请参阅图4，一种内容标签计算任务的分配计算装置，应用于分布式系统中的主机，包括：
拆分单元401，用于将内容标签计算任务按照第一预设规则进行拆分，得到一个或多个内容标签计算子任务；
分配单元402，用于按照第二预设规则将所述内容标签计算子任务与所述分布式系统的从机进行分配，以使得所述分布式系统的设备完成执行所述内容标签计算子任务并返回对应的内容标签计算子结果，所述设备包括所述主机与所述从机；
接收单元403，用于接收所述内容标签计算子结果；
汇总单元404，用于将所述内容标签计算子结果进行汇总，得到内容标签计算结果。
可选的，所述拆分单元401将内容标签计算任务按照第一预设规则进行拆分，得到一个或多个内容标签计算子任务时，具体用于：
按照所述内容标签计算任务中内容的排列顺序，以目标内容数量为界拆分所述内容标签计算任务，得到一个或多个所述内容标签计算子任务。
可选的，所述分配单元402按照第二预设规则将所述内容标签计算子任务与所述分布式系统的从机进行分配，以使得所述分布式系统的设备完成执行所述内容标签计算子任务并返回对应的内容标签计算子结果时，具体用于：
将所述内容标签计算子任务按照其在所述内容标签计算任务中的先后顺序依次放入任务队列，以使得所述分布式系统的所述设备对所述任务队列中的所述内容标签计算子任务进行抢占执行，并在完成执行后返回对应的内容标签计算子结果。
可选的，所述汇总单元404将所述内容标签计算子结果进行汇总，得到内容标签计算结果时，具体用于：
当接收到所述设备返回的所述内容标签计算子结果时，计算已接收的内容标签计算子结果的数量占全部发出内容标签计算子任务的数量的比例，得到内容标签计算任务进度；
展示所内容标签计算任务进度；
当已接收的内容标签计算子结果的数量等于全部发出内容标签计算子任务的数量时，对所有所述内容标签计算子结果进行合并汇总，得到内容标签计算结果。
本申请实施例的内容标签计算任务的分配计算装置，其所执行的操作与前述图1、图3实施例中主机所执行的操作类似，在此不再进行赘述。
可见，本申请实施例内容标签计算任务的分配计算装置采用分布式系统对内容标签计算任务进行分布式计算，分布式系统的各个设备的性能不需要很强，只要设备的数量足够多，设备的总体成本也比一台非常高性能的服务器要低，实现了较低成本情况下提高对作品的内容标签计算的速度。
请参阅图5，一种内容标签计算任务的分配计算装置，应用于分布式系统中的从机，包括：
监测单元501，用于监测所述分布式系统中的主机的任务队列；
获取单元502，用于当所述任务队列中存在内容标签计算子任务时，尝试获取所述内容标签计算子任务；
执行单元503，用于当获取到所述内容标签计算子任务时，则执行所述内容标签计算子任务得到内容标签计算子结果；
返回单元504，用于向所述主机返回对应的内容标签计算子结果。
可选的，所述装置还包括：
复制单元505，用于对所述内容标签计算子任务进行复制，得到备份内容标签计算子任务；
触发单元506，用于触发执行所述内容标签计算子任务的步骤；
触发单元506，还用于若成功执行所述内容标签计算子任务，得到所述内容标签计算子结果，则触发向所述主机返回对应的内容标签计算子结果的步骤；
删除单元507，用于删除所述备份内容标签计算子任务；
作为单元508，用于若失败执行所述内容标签计算子任务，将所述备份内容标签计算子任务作为新的内容标签计算子任务；
触发单元506，还用于触发执行对所述内容标签计算子任务进行复制的步骤。
可选的，所述装置还包括：
统计单元509，用于对所述触发执行对所述内容标签计算子任务进行复制的步骤进行次数统计，得到触发执行次数；
返回单元504，用于当所述触发执行次数达到或超过预设次数时，向所述主机发送任务执行失败信息。
本申请实施例的内容标签计算任务的分配计算装置，其所执行的操作与前述图2、图3实施例中从机所执行的操作类似，在此不再进行赘述。
下面对本申请实施例中的计算机设备进行描述，请参阅图6，本申请实施例中计算机设备的一个实施例包括：
该计算机设备600可以包括一个或一个以上处理器(central processing units，CPU)601和存储器602，该存储器602中存储有一个或一个以上的应用程序或数据。其中，存储器602是易失性存储或持久存储。存储在存储器602的程序可以包括一个或一个以上模块，每个模块可以包括对计算机设备中的一系列指令操作。更进一步地，处理器601可以设置为与存储器602通信，在计算机设备600上执行存储器602中的一系列指令操作。计算机设备600还可以包括一个或一个以上无线网络接口603，一个或一个以上输入输出接口604，和/或，一个或一个以上操作系统，例如Windows Server，Mac OS，Unix,Linux，FreeBSD等。该处理器601可以执行前述图1至图3所示实施例中所执行的操作，具体此处不再赘述。
在本申请实施例所提供的几个实施例中，本领域技术人员应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-only memory)、随机存取存储器(RAM，randomaccess memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种内容标签计算任务的分配计算方法，其特征在于，应用于分布式系统中的主机，包括：
将内容标签计算任务按照第一预设规则进行拆分，得到一个或多个内容标签计算子任务；
按照第二预设规则将所述内容标签计算子任务与所述分布式系统的从机进行分配，以使得所述分布式系统的设备完成执行所述内容标签计算子任务并返回对应的内容标签计算子结果，所述设备包括所述主机与所述从机；
接收所述内容标签计算子结果；
将所述内容标签计算子结果进行汇总，得到内容标签计算结果。
2.根据权利要求1所述的分配计算方法，其特征在于，所述将内容标签计算任务按照第一预设规则进行拆分，得到一个或多个内容标签计算子任务，包括：
按照所述内容标签计算任务中内容的排列顺序，以目标内容数量为界拆分所述内容标签计算任务，得到一个或多个所述内容标签计算子任务。
3.根据权利要求2所述的分配计算方法，其特征在于，所述按照第二预设规则将所述内容标签计算子任务与所述分布式系统的从机进行分配，以使得所述分布式系统的设备完成执行所述内容标签计算子任务并返回对应的内容标签计算子结果，包括：
将所述内容标签计算子任务按照其在所述内容标签计算任务中的先后顺序依次放入任务队列，以使得所述分布式系统的所述设备对所述任务队列中的所述内容标签计算子任务进行抢占执行，并在完成执行后返回对应的内容标签计算子结果。
4.根据权利要求1所述的分配计算方法，其特征在于，所述将所述内容标签计算子结果进行汇总，得到内容标签计算结果包括：
当接收到所述设备返回的所述内容标签计算子结果时，计算已接收的内容标签计算子结果的数量占全部发出内容标签计算子任务的数量的比例，得到内容标签计算任务进度；
展示所述内容标签计算任务进度；
当已接收的内容标签计算子结果的数量等于全部发出内容标签计算子任务的数量时，对所有所述内容标签计算子结果进行合并汇总，得到内容标签计算结果。
5.一种内容标签计算任务的分配计算方法，其特征在于，应用于分布式系统中的从机，包括：
监测所述分布式系统中主机的任务队列；
当所述任务队列中存在内容标签计算子任务时，尝试获取所述内容标签计算子任务；
当获取到所述内容标签计算子任务时，则执行所述内容标签计算子任务得到内容标签计算子结果，向所述主机返回对应的内容标签计算子结果。
6.根据权利要求5所述的分配计算方法，其特征在于，在获取到所述内容标签计算子任务之后，执行所述内容标签计算子任务之前，所述方法还包括：
对所述内容标签计算子任务进行复制，得到备份内容标签计算子任务；
触发执行所述内容标签计算子任务的步骤；
若成功执行所述内容标签计算子任务，得到所述内容标签计算子结果，则触发向所述主机返回对应的内容标签计算子结果的步骤，删除所述备份内容标签计算子任务；
若失败执行所述内容标签计算子任务，将所述备份内容标签计算子任务作为新的内容标签计算子任务，触发执行对所述内容标签计算子任务进行复制的步骤。
7.根据权利要求6所述的分配计算方法，其特征在于，在触发执行对所述内容标签计算子任务进行复制的步骤之后，所述方法还包括：
对所述触发执行对所述内容标签计算子任务进行复制的步骤进行次数统计，得到触发执行次数；
当所述触发执行次数达到或超过预设次数时，向所述主机发送任务执行失败信息。
8.一种内容标签计算任务的分配计算装置，其特征在于，应用于分布式系统中的主机，包括：
拆分单元，用于将内容标签计算任务按照第一预设规则进行拆分，得到一个或多个内容标签计算子任务；
分配单元，用于按照第二预设规则将所述内容标签计算子任务与所述分布式系统的从机进行分配，以使得所述分布式系统的设备完成执行所述内容标签计算子任务并返回对应的内容标签计算子结果，所述设备包括所述主机与所述从机；
接收单元，用于接收所述内容标签计算子结果；
汇总单元，用于将所述内容标签计算子结果进行汇总，得到内容标签计算结果。
9.一种内容标签计算任务的分配计算装置，其特征在于，应用于分布式系统中的从机，包括：
监测单元，用于监测所述分布式系统中主机的任务队列；
获取单元，用于当所述任务队列中存在内容标签计算子任务时，尝试获取所述内容标签计算子任务；
执行单元，用于当获取到所述内容标签计算子任务时，则执行所述内容标签计算子任务得到内容标签计算子结果；
返回单元，用于向所述主机返回对应的内容标签计算子结果。
10.一种计算机设备，其特征在于，包括：
处理器、存储器、总线、输入输出接口、无线网络接口；
所述处理器通过总线与所述存储器、所述输入输出接口、所述无线网络接口相连；
所述存储器中存储有程序；
所述处理器执行所述存储器中存储的所述程序时，实现所述权利要求1至7任意一项所述内容标签计算任务的分配计算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111106556.5A CN113806093A (zh) | 2021-09-22 | 2021-09-22 | 内容标签计算任务的分配计算方法以及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111106556.5A CN113806093A (zh) | 2021-09-22 | 2021-09-22 | 内容标签计算任务的分配计算方法以及相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113806093A true CN113806093A (zh) | 2021-12-17 |
Family
ID=78939801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111106556.5A Pending CN113806093A (zh) | 2021-09-22 | 2021-09-22 | 内容标签计算任务的分配计算方法以及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113806093A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109597679A (zh) * | 2018-12-03 | 2019-04-09 | 咪付（广西）网络技术有限公司 | 一种分布式计算处理方法 |
| CN111813554A (zh) * | 2020-07-17 | 2020-10-23 | 济南浪潮数据技术有限公司 | 一种任务调度处理方法、装置及电子设备和存储介质 |
| CN112035258A (zh) * | 2020-08-31 | 2020-12-04 | 中国平安财产保险股份有限公司 | 数据处理方法、装置、电子设备及介质 |
-
2021
- 2021-09-22 CN CN202111106556.5A patent/CN113806093A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109597679A (zh) * | 2018-12-03 | 2019-04-09 | 咪付（广西）网络技术有限公司 | 一种分布式计算处理方法 |
| CN111813554A (zh) * | 2020-07-17 | 2020-10-23 | 济南浪潮数据技术有限公司 | 一种任务调度处理方法、装置及电子设备和存储介质 |
| CN112035258A (zh) * | 2020-08-31 | 2020-12-04 | 中国平安财产保险股份有限公司 | 数据处理方法、装置、电子设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11216324B2 (en) | Query watchdog | |
| EP3340057B1 (en) | Container monitoring method and apparatus | |
| EP3567829B1 (en) | Resource management method and apparatus | |
| US8656387B2 (en) | Method and system for workload distributing and processing across a network of replicated virtual machines | |
| US9396031B2 (en) | Distributed UIMA cluster computing (DUCC) facility | |
| US9319281B2 (en) | Resource management method, resource management device, and program product | |
| US10983908B1 (en) | Method and system for garbage collection of data protection virtual machines in cloud computing networks | |
| CN109240825B (zh) | 弹性任务调度方法、装置、设备及计算机可读存储介质 | |
| US10853140B2 (en) | Slab memory allocator with dynamic buffer resizing | |
| US9838332B1 (en) | Dynamically meeting slas without provisioning static capacity | |
| CN105404542A (zh) | 云计算系统及在其上运行高性能计算的方法 | |
| CN112306650B (zh) | 虚拟机热迁移方法和通信设备 | |
| US20180302467A1 (en) | Scalable monitoring of long running multi-step data intensive workloads | |
| CN110673945A (zh) | 分布式任务管理方法和管理系统 | |
| US12026066B2 (en) | Backing up data for a namespace assigned to a tenant | |
| KR101765725B1 (ko) | 대용량 방송용 빅데이터 분산 병렬처리를 위한 동적 디바이스 연결 시스템 및 방법 | |
| US20170220367A1 (en) | Offline hadoop deployment anomaly identification | |
| US11797206B2 (en) | Hash migration using a gold image library management system | |
| CN113626173A (zh) | 调度方法、装置及存储介质 | |
| CN115964176B (zh) | 云计算集群调度方法、电子设备和存储介质 | |
| CN113806093A (zh) | 内容标签计算任务的分配计算方法以及相关装置 | |
| CN113254143A (zh) | 虚拟化网络功能网元编排调度方法、装置和系统 | |
| CN113703930A (zh) | 任务调度方法、装置及系统、计算机可读存储介质 | |
| KR101542605B1 (ko) | 온톨로지 매칭의 시멘틱 이질성 병렬 처리 장치 및 처리 방법 | |
| US20160011891A1 (en) | Engine for Virtual Machine Resources |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |