CN114201286B

CN114201286B - 一种任务的处理方法、装置、电子设备、存储介质

Info

Publication number: CN114201286B
Application number: CN202210139430.6A
Authority: CN
Inventors: 肖雪松; 严骊; 李慧
Original assignee: Tuzi Intelligent Technology Nanjing Co ltd; Chengdu Minto Technology Co ltd
Current assignee: Tuzi Intelligent Technology Nanjing Co ltd; Chengdu Minto Technology Co ltd
Priority date: 2022-02-16
Filing date: 2022-02-16
Publication date: 2022-04-26
Anticipated expiration: 2042-02-16
Also published as: CN114201286A

Abstract

本申请提供一种任务的处理方法、装置、电子设备、存储介质。任务的处理方法包括：获取初始任务集；根据初始任务集和任务转移概率矩阵生成初始任务链；任务转移概率矩阵用于表征不同的任务转移关系对应的转移概率，初始任务链用于记录所述多个任务的初始模拟执行过程，初始任务链中的任务之间通过转移动作表示任务转移关系；根据初始任务集、初始任务链、任务转移概率矩阵和预设的回报函数确定优化的任务链；预设的回报函数用于确定任务链的回报，优化的任务链的回报满足预设的时间回报条件；根据优化后的任务链确定优化的任务集，并输出优化的任务集。该处理方法在符合用户的时间期望和任务执行习惯的基础上，实现任务的自动化优化安排。

Description

一种任务的处理方法、装置、电子设备、存储介质

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种任务的处理方法、装置、电子设备、存储介质。

背景技术

目前，一些时间管理软件可以实现自动化的任务安排。在进行自动化的任务安排时，时间管理软件先搜集用户的任务，然后利用预设的一些任务安排规则对用户的任务进行安排，输出任务安排集。例如：在时间1执行任务1，在时间2执行任务2，在时间3执行任务3，时间1-3之间具有时间先后顺序。

但是，现有的任务安排方式，由于仅利用任务安排规则进行任务安排，使得任务安排结果其实并不符合用户的需求。

发明内容

本申请实施例的目的在于提供一种任务的处理方法、装置、电子设备、存储介质，用以在符合用户的时间期望和任务执行习惯的基础上，实现任务的自动化优化安排。

第一方面，本申请实施例提供一种任务的处理方法，包括：获取初始任务集；所述初始任务集中包括多个任务，所述多个任务分别对应时间属性信息，所述时间属性信息包括计划开始时间和计划结束时间；根据所述初始任务集和任务转移概率矩阵生成初始任务链；所述任务转移概率矩阵用于表征不同的任务转移关系对应的转移概率，所述初始任务链用于记录所述多个任务的初始模拟执行过程，所述初始任务链中的任务之间通过转移动作表示任务转移关系；根据所述初始任务集、所述初始任务链、所述任务转移概率矩阵和预设的回报函数确定优化的任务链；所述预设的回报函数用于确定任务链的回报，所述优化的任务链的回报满足预设的时间回报条件；根据所述优化后的任务链确定优化的任务集，并输出所述优化的任务集。

在本申请实施例中，与现有技术相比，利用初始任务集和任务转移概率矩阵生成初始任务链，该初始任务链用于记录多个任务的初始模拟执行过程。然后利用初始任务集、初始任务链、任务转移概率矩阵和预设的回报函数确定优化的任务链。由于在确定优化的任务链的过程中，加入了回报函数，使得优化的任务链的回报满足预设的时间回报条件。最终，基于优化后的任务链所确定的优化的任务集中，各个任务的时间安排为满足时间回报条件的时间安排；并且，任务转移概率矩阵表征不同的任务转移关系对应的转移概率，可以反映用户的任务执行习惯，例如：当某个任务转移关系对应的转移概率较大时，说明用户习惯执行该任务转移关系。因此，通过结合用户的任务执行习惯和时间回报条件对任务安排结果进行优化，在符合用户的时间期望和任务执行习惯的基础上，实现任务的自动化优化安排。

作为一种可能的实现方式，所述获取初始任务集，包括：获取所述多个任务；所述多个任务对应有任务属性信息；所述任务属性信息不包括时间属性信息；根据预设的任务属性信息的属性权重值确定各个任务的任务优先级；根据所述任务优先级和预设的任务安排规则确定所述时间属性信息，并生成所述初始任务集。

在本申请实施例中，通过预设的任务属性信息的属性权重值，确定各个任务的任务优先级，然后结合任务优先级和预设的任务安排规则对任务进行安排，所获得的任务安排结果相较于基于任务安排规则所确定的任务安排结果来说，合理性更高。

作为一种可能的实现方式，所述任务属性信息包括：任务类型、任务难度、任务频率和任务紧急程度中的至少一项属性信息。

在本申请实施例中，通过上述的至少一项属性信息，可实现任务的初步安排。

作为一种可能的实现方式，所述根据所述初始任务集和任务转移概率矩阵生成初始任务链，包括：根据所述时间属性信息确定初始时刻执行的任务；根据所述任务转移概率矩阵和所述初始时刻执行的任务模拟所述多个任务的执行过程，以生成所述初始任务链。

在本申请实施例中，利用时间属性信息，先确定初始起始时刻执行的任务，然后利用任务转移概率矩阵随机的模拟任务的执行过程，有效的生成初始任务链。

作为一种可能的实现方式，所述根据所述任务转移概率矩阵和所述初始时刻执行的任务模拟所述多个任务的执行过程，以生成所述初始任务链，包括：基于预设的马尔科夫链算法、所述任务转移概率矩阵和所述初始时刻执行的任务模拟所述多个任务的执行过程，以生成所述初始任务链。

在本申请实施例中，通过马尔科夫链算法，实现马尔科夫任务链的有效生成。

作为一种可能的实现方式，所述优化后的任务链中的各个任务包括模拟时间属性信息，所述模拟时间属性信息包括：模拟开始时间和模拟结束时间，所述预设的回报函数表示为：

，其中，

为所述模拟结束时间与所述模拟开始时间之间的差值，

为所述计划结束时间与所述计划开始时间之间的差值。

在本申请实施例中，通过上述的回报函数，实现任务链对应的各种可能的任务执行轨迹的时间回报的有效确定。

作为一种可能的实现方式，所述根据所述初始任务集、所述初始任务链、所述任务转移概率矩阵和预设的回报函数确定优化的任务链，包括：将所述初始任务集、所述初始任务链、所述任务转移概率矩阵和预设的回报函数输入预设的蒙特卡洛算法中，获得所述预设的蒙特卡洛算法输出的所述优化的任务链。

在本申请实施例中，蒙特卡洛算法是一种强化学习算法，可以通过强化学习，不断优化任务链，因此，利用蒙特卡洛算法，实现优化的任务链的有效且精准的确定。

作为一种可能的实现方式，所述处理方法还包括：根据预设的任务提醒策略提醒用户执行所述优化任务集中的各个任务；所述预设的任务提醒策略包括：不同的任务属性信息分别对应的提醒方式。

在本申请实施例中，通过预设的任务提醒策略，提醒用户执行各个任务。在任务提醒策略中，不同的任务属性信息，采用不同的提醒的方式，实现任务的有效提醒。

第二方面，本申请实施例提供一种任务的处理装置，包括：用于实现第一方面以及第一方面的任意一种可能的实现方式中所述的任务的处理方法的各个功能模块。

第三方面，本申请实施例提供一种电子设备，包括处理器、存储器及通信总线；所述通信总线用于实现处理器和存储器之间的连接通信；所述处理器用于执行存储器中存储的一个或者多个程序，以实现第一方面以及第一方面的任意一种可能的实现方式中所述的任务的处理方法。

第四方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被计算机运行时，执行如第一方面以及第一方面的任意一种可能的实现方式中所述的任务的处理方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的任务的处理方法的流程图；

图2为本申请实施例提供的任务链的示例图；

图3为本申请实施例提供的任务转移概率的曲线示意图；

图4为本申请实施例提供的任务的处理装置的结构示意图；

图5为本申请实施例提供的电子设备的结构示意图。

图标：400-任务的处理装置；410-获取模块；420-处理模块；500-电子设备；510-处理器；520-存储器；530-通信总线。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

本申请实施例提供的技术方案可以应用于各种需要进行任务安排的应用场景中，例如：个人任务规划、任务安排培训课程、自动化安排日程等应用场景。特别的，当该技术方案应用于时间管理需求较高的应用场景中时，效果更佳。

时间管理需求，可以理解为，使用户在较高效的时间回报条件下，执行各个任务。例如：假设有三个任务，三个任务可以有多种执行顺序，但是，在一些执行顺序下，用户需要的时间可能较多；而在某种特定的执行顺序下，用户需要的时间最少；那么，该种特定的执行顺序便为符合时间管理需求的任务安排顺序。

基于上述应用场景，本申请实施例所提供的技术方案可以应用于各种时间管理软件或者任务规划软件等，对应的，硬件运行环境可以是，客户端、浏览器、服务器或者是专用的时间管理设备等，在此不作限定。

基于上述应用场景的介绍，接下来请参照图1，为本申请实施例提供的任务的处理方法的流程图，该处理方法包括：

步骤110：获取初始任务集。初始任务集中包括多个任务，多个任务分别对应时间属性信息，时间属性信息包括计划开始时间和计划结束时间。

步骤120：根据初始任务集和任务转移概率矩阵生成初始任务链。任务转移概率矩阵用于表征不同的任务转移关系对应的转移概率，初始任务链用于记录多个任务的初始模拟执行过程，初始任务链中的任务之间通过转移动作表示任务转移关系。

步骤130：根据初始任务集、初始任务链、任务转移概率矩阵和预设的回报函数确定优化的任务链。预设的回报函数用于确定任务链的回报，优化的任务链的回报满足预设的时间回报条件。

步骤140：根据优化后的任务链确定优化的任务集，并输出优化的任务集。

接下来对该任务的处理方法的详细实施方式进行介绍。

在步骤110中，所获取的初始任务集可以理解为基于需要安排的任务进行初步安排所获得的任务安排序列。因此，在该初始任务集中，多个任务分别对应时间属性信息。

并且，该初始任务集中的多个任务可以是在预设周期内需要执行的任务，该预设周期可以是一天，或者一周，在此不作限定。

举例来说，以一天为预设周期的初始任务集：S={开会、采购、设计}，其中，9点-10点，开会；10点-12点，采购；下午2点-5点，设计。则，9点为开会该任务的计划开始时间，10点为开会该任务的计划结束时间，另外2个任务同理。

作为一种可选的实施方式，该初始任务集可以是参照现有的基于规则实现任务安排的方式所确定的任务集。

作为另一种可选的实施方式，该初始任务集在基于规则实现任务安排的基础上，还确定任务的优先级，结合任务的优先级和规则确定初始任务集。

在这种实施方式下，步骤110可以包括：获取多个任务；多个任务对应有任务属性信息；任务属性信息不包括时间属性信息；根据预设的任务属性信息的属性权重值确定各个任务的任务优先级；根据任务优先级和预设的任务安排规则确定时间属性信息，并生成初始任务集。

在这种实施方式中，多个任务可以从多个平台处收集。例如，多个任务可以是邮件、日历、日程、备忘录、提醒事项、购票订房短信、工作系统台账、任务管理系统中的任务。

在收集到多个任务之后，可以确定多个任务的任务属性信息。

在本申请实施例中，任务属性信息可以包括：任务类型、任务难度、任务频率、任务紧急程度和时间属性信息中的至少一项属性信息。

在一些实施例中，任务属性信息至少包括这些属性信息中的两项。

其中，任务类型可以包括：工作、学习、社交和健康。任务难度可以包括：事项任务、通用任务、经验任务、创新任务。任务频率可以包括：频繁性、一般性、一次性。任务紧急程度可以包括：重要紧急、不重要紧急、不重要不紧急、重要不紧急。

可以理解，收集到的多个任务，有一些可能具有时间属性信息，而有些不具有时间属性信息。

预设的任务属性信息的属性权重值，可以理解为不同的任务属性信息在对应的属性信息类别下的分值。举例来说，在任务类型该属性信息下，有四种可能的属性信息类别，不同的属性信息类别可以有不同的分值。

作为一种可选的实施方式，预设的属性权重值可以为：工作：2；学习：2；社交：1；健康：1。事项任务：1；通用任务：2；经验任务：3；创新任务：4。频繁性：3；一般性：2；一次性：1。重要紧急：4；不重要紧急：3；不重要不紧急：2; 重要不紧急：1。

上述的预设的属性权重值仅作为一种举例，在实际应用时，可以根据具体的应用场景灵活设置属性权重值，不构成对本申请实施例的限制。

基于预设的属性权重值，可通过优先级分值表示任务的任务优先级。作为一种可选的实施方式，优先级分值表示为：

，其中，任务si表示id=i的任务，任务s的可计算属性个数为n；task(i，j)是指任务i在属性j中的分值。

在确定任务优先级之后，结合预设的任务安排规则确定时间属性信息。此处的任务安排规则可以包括预设的任务安排经验。例如：工作类任务放在工作日的上下午；晚上执行学习和社交任务；早上执行通用任务；下午执行事项任务等等。

任务安排规则还可以包括：预设的任务耗时时间。任务耗时时间可结合任务的难度预设，例如：事项任务（30分钟）、通用任务（60分钟）、经验任务（90分钟）、创新任务（120分钟）；若当前任务无难度属性，默认60分钟。

进而，作为一种可选的实施方式，确定时间属性信息以及生成初始任务集的过程包括：首先根据预设经验将多个任务进行初步的排序；然后通过任务的优先分值p_task(i)，从高到低排序进行安排，生成任务的计划开始时间planST。再通过前述的预设耗时时间确定计划结束时间，计划结束时间=计划开始时间+预设耗时时间。

通过上述的实施方式，最终所有的任务都具备时间属性信息，即计划开始时间和计划结束时间，并且，任务状态都为未开始。

最终，按照各个任务的计划开始时间进行从早到晚的排列，从而生成用户在预设周期内的初始任务集

。

可以理解，通过上述的实施方式所确定的初始任务集可能并不是较为合理和科学的任务集，因此，可以通过后续的步骤对初始任务集进行优化。

在步骤120中，根据初始任务集和任务转移概率矩阵生成初始任务链。

在本申请实施例中，任务链可以理解为用于记录多个任务的模拟执行过程的策略（模型）。基于任务链进行随机采样，可以获得多种不同的任务执行轨迹。

为了便于理解，请参照图2，为本申请实施例提供的任务链的示例图，可以看到，在任务链中，包括多个任务节点，这3个任务节点之间具有不同的任务转移关系。在这些任务转移关系中，除了包括任务的转移路径，例如：从任务S0→任务S1，还包括，该条转移路径对应的转移动作，例如：开始、不开始、完成等；还包括，该条转移路径对应的转移概率，该转移概率可通过任务转移概率矩阵确定。

需要注意的是，图2中默认的转移概率均为0.5，仅是一种示例，实际并不限于该取值。

对于一个任务来说，在任务执行的过程中，可能有三种状态：未开始（NS）、执行中（IE）、已完成（CD）。

在初始任务集中的多个（t个）任务，初始的状态均为未开始。则，初始任务集和对应的执行状态可以表示为：

，si.state=NS。

假设以A表示任务链中的一组动作，ai表示第i步采取的动作，则

；并且，用户对任务的动作有3种：不开始（nostart），开始（start）、完成（finsh）。

那么，初始的任务状态改变与动作的关系可以为以下几种：

Si.state=NS -> a=start ->si.state=IE :任务si未开始，执行动作ai开始，任务状态si变成执行中。

Si.state=NS -> a=start ->si.state=IE :任务si未开始，执行动作ai不开始，任务状态si为未开始。

Si.state=IE -> a=finsh ->si.state=CD :任务si执行中，执行动作ai完成，任务状态si变成已完成。

Si.state=CD -> a=nostart ->si.state=CD :任务si已完成，执行动作ai不开始，任务状态si为已完成。

上述几种任务状态改变与动作的关系的初始概率可以为1/4，即每一个任务初始有1/4的概率是其中的任意一种关系。

任务转移概率矩阵，表示在当前si任务下，经过a动作后，会转移到其他任务sj的概率分布矩阵P：

P=[p11 p12 … p1m

p21 p22 ... p2m

… … …

pm1 pm2 … pmm]

该矩阵中的单个元素可表示为：p(si|sj，a)=pij；pij=P(s(t)=i|s(t-1)=j)表示在t-1时刻为任务sj，到t时刻转到任务si的概率。

在步骤120中，所采用的任务转移概率矩阵可以是平均概率矩阵，即，不同的任务转移关系对应的转移概率相同，因此，该任务转移概率矩阵的初始取值可以表示为：

，其中，i和j表示任务转移关系中的两个任务节点，m表示任务的总个数。即，当任务转移关系中的两个任务是相同任务时，概率取值为0；当任务转移关系中的两个任务是不同的任务时，概率取值根据任务的总个数计算，例如：当m=3时，概率值为0.5。

进而，作为一种可选的实施方式，步骤120包括：根据时间属性信息确定初始时刻执行的任务；根据任务转移概率矩阵和初始时刻执行的任务模拟多个任务的执行过程，以生成初始任务链。

在这种实施方式中，根据各个任务的时间属性信息中的计划开始时间的先后顺序，可确定初始时刻执行的任务，即计划开始时间最早的任务。然后利用任务转移概率矩阵，在初始时刻执行的任务的基础上，模拟不同的任务转移情况，并计算每种任务转移情况的任务转移概率，以生成初始任务链。

对于任务转移概率的计算，作为一种可选的实施方式，可设定各个任务在初始时刻执行的概率，然后将初始时刻执行的概率与任务转移概率矩阵相乘，便可得到各个任务在下一个时刻执行的概率，依次类推，便可以得到各个任务在各个时刻执行的概率。

作为一种可选的实施方式，根据任务转移概率矩阵和初始时刻执行的任务模拟多个任务的执行过程，以生成初始任务链，包括：基于预设的马尔科夫链算法、任务转移概率矩阵和初始时刻执行的任务模拟多个任务的执行过程，以生成初始任务链。

在这种实施方式中，利用马尔科夫链算法实现初始任务链的生成，马尔科夫链是一种记录任务的执行情况的算法，可按照上述的任务转移概率的计算逻辑，生成涵盖各种任务转移情况的马尔科夫链，即本申请实施例中的任务链。

举例来说，假设今天用户有三个任务，通过规则计算安排出S={开会、采购、设计}；设置9点-10点，开会；10点-12点，采购；下午2点-5点设计；任务集S={s1,s2,s3}。设定平均转移概率矩阵为：

P=[0 0.5 0.5

0.5 0 0.5

0.5 0.5 0 ]。

任意假设一个初始状态：设初始时刻执行三个任务的概率分别是p(s0)=[0.6,0.2,0.2]，表示用户在t0时刻，60%选择开会，20%选择采购，20%选择设计，将此与转移矩阵P进行矩阵相乘，通过pij概率可以计算各个时刻的情况。

按照上述方式不断计算各个时刻的各个任务的执行概率，一直计算到t100，可得到如图3所示的任务概率示意图。可以看出，这个用户如果一直把按照任务转移概率安排下去，他最后选择开会、采购、设计的概率会趋近于[0.4,0.2,0.4]，而这一选择与用户真实执行的过程可能有差异，因为转移概率矩阵P开始是平均分配的，或者说开始是不合理的。进而，在本申请实施例中，还需要对初始的任务链进行优化。

为了实现初始的任务链的优化，还需要设定一个优化目标，在本申请实施例中，将时间回报作为优化目标。

假设将r作为回报函数，如果一组（sj，a）转移到下一个任务si，那么回报函数可表示为ri=r(sj,a,si)。

在本申请实施例中，可根据任务sj的计划耗时和实际耗时之间的时间差异，设置回报函数。计划耗时可以理解为计划结束时间与计划开始时间之间的差值，实际耗时可以理解为在任务链中模拟结束时间和模拟开始时间之间的差值。

因此，作为一种可选的实施方式，任务链中的各个任务包括模拟时间属性信息，模拟时间属性信息包括：模拟开始时间和模拟结束时间，预设的回报函数表示为：

，其中，

为模拟结束时间与模拟开始时间之间的差值，

为计划结束时间与计划开始时间之间的差值。

基于上述任务转移概率矩阵、任务链，以及回报函数的介绍，接下来对任务链的优化原理作一下简单的说明。

如图2所示，用户任务的模拟执行过程是个典型的有限离散状态的马尔可夫链，可以由有向图表示。节点表示任务，边表示任务之间的转移，边上的数值表示转移概率。从一个初始任务出发，根据有向边上定义的概率在任务之间随机跳转（或随机转移），就可以产生任务的序列，该任务的序列可以称作任务轨迹。

因此马尔可夫链的实际上是刻画随时间在任务之间转移的模型，假设未来的转移任务只依赖于现在的任务，而与过去的任务无关。

由于任务整体的模型可能存在缺陷（例如任务转移概率矩阵不合理等），所以通过模拟用户每天执行任务的完整过程，对马尔科夫链方式进行随机采样，获得多个任务执行轨迹。然后计算每个任务执行轨迹的时间回报，若时间回报没有收敛，则调整任务链。然后基于调整后的任务链再次采样，并再次计算时间回报是否收敛。一直循环该过程，直至时间回报收敛时，所得到的任务链便为最终优化的任务链，因此，最终优化的任务链的回报满足预设的时间回报条件。

进而，在步骤130中，根据初始任务集、初始任务链、任务转移概率矩阵和预设的回报函数确定优化的任务链。

通过上述原理的介绍，本申请实施例的优化过程可以采用强化学习的方式实现。强化学习不需要给出正确的策略（即正确的任务链）作为监督用户执行任务的过程，而是给出策略（延迟）的回报（即时间回报），通过调整策略来取得最大化的期望回报（即花最短时间完成任务集）。

即，通过将用户在不同时间段去执行不同任务的时间花销差异作为奖励回报，来确定策略给出的正确性。

在本申请实施例中，可以通过蒙特卡洛方法实现强化学习，在蒙特卡洛方法中，设置有最大期望回报函数Q，该函数Q的含义可以相当于本申请实施例中的回报函数r。

蒙特卡洛算法的实现原理：如果模型未知，Q函数可以通过采样来进行计算。对于一个策略，从状态s，执行动作a开始，然后通过随机游走的方法来探索环境，并计算得到的总回报。在得到总回报之后，便可以判断总回报是否满足收敛条件（例如基本稳定不变），若满足收敛条件，则无需再改进策略。若不满足收敛条件，则需要调整策略之后，再次进行采样，以计算总回报。

对应到本申请实施例中，回报函数r可相当于Q函数，用于通过采样计算不同的任务执行轨迹的时间回报。而任务链相当于策略，当时间回报不满足收敛条件时，则需要调整任务链，然后再次采样计算时间回报，直至时间回报满足收敛条件，此时的任务链便为最终优化的任务链。

因此，作为一种可选的实施方式，步骤130包括：将初始任务集、初始任务链、任务转移概率矩阵和预设的回报函数输入预设的蒙特卡洛算法中，获得预设的蒙特卡洛算法输出的优化的任务链。

在这种实施方式，由于蒙特卡洛算法为成熟的算法，对应有算法模型。因此，将本申请实施例中的相关信息作为蒙特卡洛算法的输入，输入到蒙特卡洛算法中，该算法便可输出最终的优化的任务链。

具体的，假设初始任务集S={s1,…,sm}，结合初始任务链，可生成轨迹τ，一个有m个任务的时间序列：τ=s0，a0，s1， r1，a1，…, st-1，at-1，st，rt，…，sm-1，am-1，sm，rm。其中，s0~sm，代表任务集中的各个任务；a0~am-1，代表任务转移的动作，r1~rm代表转移动作的概率。

该轨迹对应的概率p表示为：

。其中p(s0)为一个初始状态，用户首次选择任务s作为第t0时刻开始任务，设初始的m个概率分别是p(s0)=[1/m,…,1/m]，表示用户在t0时刻，1/m的概率选择任务si。at代表各个时刻的转移动作，st代表各个时刻执行的任务，T代表总时刻。

在用户执行完任务的整个轨迹τ中所累计的奖励为总回报G(τ)：

。因为策略和任务转移都有一定随机性，所以每次实验得到的轨迹τ是一个随机序列，总回报也就不同。所以强化学习的目标是学到一个任务链来最大化期望回报。

此外，在本申请实施例中，初始的任务安排过程中的预设任务安排经验，会对优化安排有边界约束效果；即，前述的初始任务安排与后面的任务优化安排之间具有关联关系，并不是独立开的，后面的任务优化安排会在前述的初始任务安排所限定的边界约束的基础上，实现任务的自动化优化安排。

在得到优化的任务链之后，便可以基于优化的任务链对任务进行安排。

因此，在步骤140中，根据优化后的任务链确定优化的任务集，并输出优化的任务集。

作为一种可选的实施方式，先确定优化后的任务链中，初始时刻执行的任务，然后找到下一时刻各个任务的执行概率，将最大执行概率的任务作为下一时刻执行的任务，依次类推，在任务链中所有的任务均遍历完毕之后，生成带有时间属性信息的任务序列集，即为优化的任务集。

可以理解，优化的任务集中的各个任务的时间属性信息，可以通过优化的任务链中的时间属性信息确定，相较于初始任务集来说，相当于是优化的开始时间和优化的结束时间。

在本申请实施例中，在输出优化的任务集之后，并不代表任务链的优化结束。在后续的应用中，用户有可能按照优化的任务集执行任务，也可能不按照优化的任务集执行任务。因此，作为一种可选的方式，该处理方法还包括：监控用户的任务执行情况；将用户的任务执行情况与优化的任务集进行对比；若任务执行情况与优化的任务集一致（包括任务和任务执行顺序一致），则暂时不需要对任务链进行优化。若任务执行情况与优化的任务集不一致，则基于用户的实际执行情况生成一条新的任务链。并将该新的任务链作为前述的步骤130中的初始任务链，继续输出新的优化的任务链，以实现任务集的不断优化。

任务执行情况指的是，监测到的任务执行情况。具体的，收集并记录任务的执行过程，存成一条任务链，作为采集的样本。然后基于采集的样本，进行离线的周期性的任务链的更新，防止过拟合。

即不断收集用户执行任务的信息，然后记录为任务链，基于记录的任务链，进行离线周期式的更新。

为了使用户可以更好的按照优化的任务集执行任务，作为一种可选的实施方式，该处理方法还包括：根据预设的任务提醒策略提醒用户执行优化任务集中的各个任务；预设的任务提醒策略包括：不同的任务属性信息分别对应的提醒方式。

作为一种可选的实施方式，若任务为重要紧急任务，进行闹钟提醒；若任务为不重要紧急任务，进行短信提醒；若任务为不重要不紧急任务，进行弹窗提醒；若任务为重要不紧急任务，进行消息提醒。

在这种实施方式中，预设不同的任务紧急程度对应的提醒方式。若当前时刻到达了某个任务的开始时间，则，按照任务紧急程度对应的提醒方式进行提醒。例如：若该任务为不重要紧急任务，进行短信提醒。

可以理解，上述的任务紧急程度分别对应的提醒方式，仅作为一种示例，在实际应用时，可以结合具体的应用场景设置其他的提醒方式，不构成对本申请实施例的限定。

此外，不管是哪种提醒，可以设置对应的提醒信息，提醒信息的内容，例如：请执行任务A，或者更多更人性化和便于理解的内容，在此不作限定。

作为一种监控方式，还可以通过视频监控的方式监测用户的任务执行情况。例如：在接收到用户开始执行任务的动作之后，打开监控摄像头，监控用户的执行状态，比如是不是状态不好，走神等等。

基于监控的状态，可以给于提醒；也可以作为一个实际执行状况，用在优化过程中。

此外，在用户给出任务执行完成的指示之后，比如：点击任务完成；此时可以关闭摄像头，即停止监控。

基于同一发明构思，请参照图4，本申请实施例中还提供一种任务的处理装置400，包括：获取模块410和处理模块420。

获取模块410用于：获取初始任务集；所述初始任务集中包括多个任务，所述多个任务分别对应时间属性信息，所述时间属性信息包括计划开始时间和计划结束时间。处理模块420用于：根据所述初始任务集和任务转移概率矩阵生成初始任务链；所述任务转移概率矩阵用于表征不同的任务转移关系对应的转移概率，所述初始任务链用于记录所述多个任务的初始模拟执行过程，所述初始任务链中的任务之间通过转移动作表示任务转移关系；根据所述初始任务集、所述初始任务链、所述任务转移概率矩阵和预设的回报函数确定优化的任务链；所述预设的回报函数用于确定任务链的回报，所述优化的任务链的回报满足预设的时间回报条件；根据所述优化后的任务链确定优化的任务集，并输出所述优化的任务集。

在本申请实施例中，获取模块410具体用于：获取所述多个任务；所述多个任务对应有任务属性信息；所述任务属性信息不包括时间属性信息；根据预设的任务属性信息的属性权重值确定各个任务的任务优先级；根据所述任务优先级和预设的任务安排规则确定所述时间属性信息，并生成所述初始任务集。

在本申请实施例中，处理模块420具体用于：根据所述时间属性信息确定初始时刻执行的任务；根据所述任务转移概率矩阵和所述初始时刻执行的任务模拟所述多个任务的执行过程，以生成所述初始任务链。

在本申请实施例中，处理模块420具体用于：基于预设的马尔科夫链算法、所述任务转移概率矩阵和所述初始时刻执行的任务模拟所述多个任务的执行过程，以生成所述初始任务链。

在本申请实施例中，处理模块420具体用于：将所述初始任务集、所述初始任务链、所述任务转移概率矩阵和预设的回报函数输入预设的蒙特卡洛算法中，获得所述预设的蒙特卡洛算法输出的所述优化的任务链。

在本申请实施例中，处理模块420还用于：根据预设的任务提醒策略提醒用户执行所述优化任务集中的各个任务；所述预设的任务提醒策略包括：不同的任务属性信息分别对应的提醒方式。

任务的处理装置400与前述的任务的处理方法对应，各个功能模块与处理方法的各个步骤对应，因此，各个功能模块的实施方式参照前述各个步骤的实施方式，为了说明书的简洁，在此不再重复介绍。

请参照图5，本申请实施例还提供一种电子设备500，该电子设备500可作为前述的任务的处理方法的硬件运行环境。其包括处理器510、存储器520以及通信总线530。其中：

通信总线530用于实现处理器510和存储器520之间的连接通信。

处理器510用于执行存储器520中存储的一个或多个程序，以实现上述实施例中所述的图像处理方法。

可以理解，图5所示的结构仅为示意，电子设备还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。

还需要注意的是，本实施例所提供的电子设备500可以是服务器或主机等具有数据处理功能的电子设备实现。

本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被计算机运行时，执行前述实施例中所述的任务的处理方法。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种任务的处理方法，其特征在于，包括：

获取初始任务集；所述初始任务集中包括多个任务，所述多个任务分别对应时间属性信息，所述时间属性信息包括计划开始时间和计划结束时间；

根据所述初始任务集和任务转移概率矩阵生成初始任务链；所述任务转移概率矩阵用于表征不同的任务转移关系对应的转移概率，所述初始任务链用于记录所述多个任务的初始模拟执行过程，所述初始任务链中的任务之间通过转移动作表示任务转移关系；

根据所述初始任务集、所述初始任务链、所述任务转移概率矩阵和预设的回报函数确定优化的任务链；所述预设的回报函数用于确定任务链的时间回报，所述优化的任务链的回报满足预设的时间回报条件；

根据所述优化后的任务链确定优化的任务集，并输出所述优化的任务集。

2.根据权利要求1所述的任务的处理方法，其特征在于，所述获取初始任务集，包括：

获取所述多个任务；所述多个任务对应有任务属性信息；所述任务属性信息不包括时间属性信息；

根据预设的任务属性信息的属性权重值确定各个任务的任务优先级；

根据所述任务优先级和预设的任务安排规则确定所述时间属性信息，并生成所述初始任务集。

3.根据权利要求2所述的任务的处理方法，其特征在于，所述任务属性信息包括：任务类型、任务难度、任务频率和任务紧急程度中的至少一项属性信息。

4.根据权利要求1所述的任务的处理方法，其特征在于，所述根据所述初始任务集和任务转移概率矩阵生成初始任务链，包括：

根据所述时间属性信息确定初始时刻执行的任务；

根据所述任务转移概率矩阵和所述初始时刻执行的任务模拟所述多个任务的执行过程，以生成所述初始任务链。

5.根据权利要求4所述的任务的处理方法，其特征在于，所述根据所述任务转移概率矩阵和所述初始时刻执行的任务模拟所述多个任务的执行过程，以生成所述初始任务链，包括：

基于预设的马尔科夫链算法、所述任务转移概率矩阵和所述初始时刻执行的任务模拟所述多个任务的执行过程，以生成所述初始任务链。

6.根据权利要求1所述的任务的处理方法，其特征在于，所述优化后的任务链中的各个任务包括模拟时间属性信息，所述模拟时间属性信息包括：模拟开始时间和模拟结束时间，所述预设的回报函数表示为：

，其中，

为所述模拟结束时间与所述模拟开始时间之间的差值，

为所述计划结束时间与所述计划开始时间之间的差值。

7.根据权利要求1所述的任务的处理方法，其特征在于，所述根据所述初始任务集、所述初始任务链、所述任务转移概率矩阵和预设的回报函数确定优化的任务链，包括：

将所述初始任务集、所述初始任务链、所述任务转移概率矩阵和预设的回报函数输入预设的蒙特卡洛算法中，获得所述预设的蒙特卡洛算法输出的所述优化的任务链。

8.根据权利要求1所述的任务的处理方法，其特征在于，所述任务的处理方法还包括：

根据预设的任务提醒策略提醒用户执行所述优化任务集中的各个任务；所述预设的任务提醒策略包括：不同的任务属性信息分别对应的提示方式。

9.一种任务的处理装置，其特征在于，包括：

获取模块，用于获取初始任务集；所述初始任务集中包括多个任务，所述多个任务分别对应时间属性信息，所述时间属性信息包括计划开始时间和计划结束时间；

处理模块，用于：

根据所述初始任务集、所述初始任务链、所述任务转移概率矩阵和预设的回报函数确定优化的任务链；所述预设的回报函数用于确定任务链的回报，所述优化的任务链的回报满足预设的回报条件；

10.一种电子设备，其特征在于，包括处理器、存储器及通信总线；所述通信总线用于实现处理器和存储器之间的连接通信；所述处理器用于执行存储器中存储的一个或者多个程序，以实现如权利要求1-8任一项所述的任务的处理方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机运行时，执行如权利要求1-8任一项所述的任务的处理方法。