CN114741618A

CN114741618A - 线下服务点推荐方法、推荐装置、设备及介质

Info

Publication number: CN114741618A
Application number: CN202210413012.1A
Authority: CN
Inventors: 孙铭涛; 雷志亮
Original assignee: Industrial and Commercial Bank of China Ltd ICBC
Current assignee: Industrial and Commercial Bank of China Ltd ICBC
Priority date: 2022-04-19
Filing date: 2022-04-19
Publication date: 2022-07-12

Abstract

本公开提供了一种线下服务点推荐方法，可以应用于人工智能技术领域。该方法包括：获取用户当前所在位置的第一位置数据；确定用户当前所在位置所属的区域内的N个线下服务点；利用训练好的神经网络模型预测所述N个线下服务点中每个线下服务点在接下来的预设时间段内的预计排队数据；以及利用强化学习算法向用户推荐当前应该前往的目标服务点，所述目标服务点为所述N个线下服务点其中之一。本公开还提供了一种线下服务点推荐装置、设备、存储介质和程序产品。

Description

线下服务点推荐方法、推荐装置、设备及介质

技术领域

本公开涉及人工智能技术领域，具体地，涉及一种线下服务点推荐方法、推荐装置、设备、介质和程序产品。

背景技术

很多线下服务点(例如，银行网点、医院门诊、超市收银台等)在业务高峰期往往不可避免地出现排队的问题，这导致客户在办理业务或接受服务的过程中需要把大量时间耗费在排队等候上。这样既降低了线下服务点的客户体验，也会浪费客户的时间，不利于整体效率的提升。

发明内容

鉴于上述问题，本公开提供了一种可在用户接受线下服务点的服务时减少所花费的时间成本的线下服务点推荐方法、推荐装置、设备、介质和程序产品。

本公开实施例的第一方面，提供了一种线下服务点推荐方法。所述方法包括：在获得用户授权后，获取用户当前所在位置的第一位置数据；确定用户当前所在位置所属的区域内的N个线下服务点，其中，N为大于或等于2的整数；利用训练好的神经网络模型预测所述N个线下服务点中每个线下服务点在接下来的预设时间段内的预计排队数据；以及利用强化学习算法向用户推荐当前应该前往的目标服务点，所述目标服务点为所述N个线下服务点其中之一。其中，所述强化学习算法的动作序列包括所述N个线下服务点，所述强化学习算法的环境状态包括所述第一位置数据以及所述N个线下服务点各自的所述预计排队数据，所述强化学习算法的即时回报包括基于用户前往每个线下服务点接受服务所花费的时间成本所确定的奖励。

根据本公开的实施例，所述N个线下服务点提供的服务相同；或者所述N个线下服务点提供M种服务，其中，每个线下服务点提供所述M种服务的其中之一，M为整数，且2≤M≤N。

根据本公开的实施例，所述方法还包括：获取所述N个线下服务点中每个线下服务点所在位置的第二位置数据；以及基于所述第一位置数据和所述第二位置数据，与每个线下服务点之间的当前距离数据；其中，所述强化学习算法的环境状态还包括所述当前距离数据。

根据本公开的实施例，所述时间成本包括：基于每个所述线下服务点的所述预计排队数据确定的用户到达每个所述线下服务点后的等待时间成本。

根据本公开的实施例，所述时间成本还包括：基于所述当前距离数据确定的单程时间成本或往返时间成本。

根据本公开的实施例，所述确定用户当前所在位置所属的区域内的N个线下服务点包括：基于用户选择的所述M种服务，从用户当前所在位置所属的区域内查找提供所述M种服务中的每一种服务的线下服务点，以得到所述N个线下服务点。

根据本公开的实施例，所述利用训练好的神经网络模型预测所述N个线下服务点中每个线下服务点在接下来的预设时间段内的预计排队数据包括：获取所述N个线下服务点中每个线下服务站点的标识信息和截止当前的历史排队数据；以及，以每个线下服务站点的标识信息和所述历史排队数据作为所述神经网络模型的输入数据，利用所述神经网络模型预测每个线下服务站点的所述预计排队数据。

本公开实施例的第二方面，提供了一种线下服务点推荐装置。所述装置包括第一获取模块、确定模块、排队数据预测模块以及推荐模块。第一获取模块用于在获得用户授权后，获取用户当前所在位置的第一位置数据。确定模块用于确定用户当前所在位置所属的区域内的N个线下服务点，其中，N为大于或等于2的整数。排队数据预测模块用于利用训练好的神经网络模型预测所述N个线下服务点中每个线下服务点在接下来的预设时间段内的预计排队数据。推荐模块用于利用强化学习算法向用户推荐当前应该前往的目标服务点，所述目标服务点为所述N个线下服务点其中之一。其中，所述强化学习算法的动作序列包括所述N个线下服务点，所述强化学习算法的环境状态包括用户所在位置的位置数据，所述强化学习算法的即时回报包括基于用户前往每个线下服务点接受服务所花费的时间成本所确定的奖励。

根据本公开的实施例，所述装置还包括第二获取模块。所述第二获取模块用于获取所述N个线下服务点中每个线下服务点所在位置的第二位置数据，以及基于所述第一位置数据和所述第二位置数据，确定与每个线下服务点之间的当前距离数据，其中，其中，所述强化学习算法的环境状态还包括所述当前距离数据。

本公开实施例的第三方面，提供了一种电子设备。所述电子设备包括一个或多个处理器以及存储器。所述存储器用于存储一个或多个程序。其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述方法。

本公开实施例的第四方面，还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法。

本公开实施例的第五方面，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的线下服务点推荐方法、推荐装置、设备、介质和程序产品的系统架构；

图2示意性示出了根据本公开实施例的线下服务点推荐方法、推荐装置、设备、介质和程序产品的应用场景图；

图3示意性示出了根据本公开一实施例的线下服务点推荐方法的流程图；

图4示意性示出了根据本公开另一实施例的线下服务点推荐方法的流程图；

图5示意性示出了根据本公开实施例的线下服务点推荐装置的框图；以及

图6示意性示出了适于实现根据本公开实施例的线下服务店推荐方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

在本文中，需要理解的是，说明书及附图中的任何元素数量均用于示例而非限制，以及任何命名(例如，第一、第二)都仅用于区分，而不具有任何限制含义。

本公开的实施例提供了一种线下服务点推荐方法、推荐装置、设备、介质及程序产品，通过神经网络模型预测各个线下服务点的预计排数数据，然后利用强化学习算法通过对用户的当前位置、各个线下服务点的预计排数数据等环境状态的学习和分析，寻找出预计使用户接受服务所花费的时间成本最小的行动策略，从而按照该行动策略向用户推荐当前应该前往的线下服务点(即，本文中称“目标服务点”)。以此方式，可以在一定程度上减少用户接受线下服务点的服务时的所花费的时间成本(例如，排队等待的时长)，而且可以提高推荐的实时性。

需要说明的是，本公开实施例确定的线下服务点推荐方法、推荐装置、设备、介质及程序产品可用于金融领域，也可用于除金融领域之外的任意领域，本公开对应用领域不做限定。

图1示意性示出了根据本公开实施例的线下服务点推荐方法、推荐装置、设备、介质和程序产品的系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括至少一个终端设备(图中示出了三个，终端设备101、102、103)、网络104以及服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件、出行类应用等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供后台支持的管理服务器(仅为示例)。服务器105中可以部署有神经网络模型和强化学习算法模型等。

需要说明的是，本公开实施例所提供的线下服务点推荐方法一般可以由服务器105执行。相应地，本公开实施例所提供的线下服务点推荐装置、设备、介质和程序产品一般可以设置于服务器105中。本公开实施例所提供的线下服务点推荐方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的线下服务点推荐装置、设备、介质和程序产品也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本公开实施例的线下服务点推荐方法、推荐装置、设备、介质和程序产品的应用场景图。该应用场景图中，以圆形来表示用户，以三角形来表示线下服务点。

如图2所示，用户201所在的区域200中具有多个线下服务点(图中示例为线性服务点A～E)。本公开实施例的方法可以向用户20l推荐从当前位置出发该前往哪个线下服务点，可以尽可能地使用户201获取服务的时间成本最短。

区域200可以是用户201当前所在位置所属的行政区域；或者区域200可以是以用户201当前所在位置为中心方圆预定距离(例如，2公里以内)的区域；再或者区域200也可以是用户201当前所在位置所属的社区或街区(如商城、商场、医院、写字楼等。)

在一些实施例中，线下服务点A～E所提供的服务相同。例如，线下服务点A～E均为银行网点，从而，本公开实施例可以用于向用户201推荐前往办理业务时花费时间最短银行网点，其中，办理花费的时间可以包括排队等待时间，还可以包括前往银行网点的路上的时间。

在另一些实施例中，线下服务点A～E所提供的服务可以不同，或者至少部分不同。具体地，线下服务点A～E可以提供M种服务每个线下服务点提供M种服务的其中之一，其中，在图2所示的应用场景中，2≤M≤5。例如，用户201可能在街区或社区里需要分别前往超市采购日常用品、到发廊理发、以及去银行办理业务等，其中，线下服务点A～E中部分为超市、部分为发廊、剩余的为银行，对应地M＝3。再例如，病人去医院看病或用户去医院体检，可能需要去多个科室或者门诊进行问诊，然而不同的科室往往会存在有各种情形的排队情况等。

当用户201需要从线下服务点A～E获取M种服务的情况下，根据本公开实施例可以通过强化学习算法对线下服务点A～E各自的预计排队情况数据的学习和分析等，给出用户201获取M种服务时应先后前往的线性服务点的行动策略，并可以基于该行动策略向用户201推荐每次该前往的线下服务点，以此尽可能地最小化用户201在获取M种服务的全过程的时间成本。

以下结合图1的系统架构和图2的应用场景，通过图3和图4对本公开实施例的线下服务点推荐方法进行详细说明。

图3示意性示出了根据本公开一实施例的线下服务点推荐方法的流程图。

如图3所示，根据该实施例的线下服务点推荐方法可以包括操作S310～操作S340。

首先在操作S310，在获得用户授权后，获取用户201当前所在位置的第一位置数据。

在一个实施例中，可以在获得用户201对全球定位系统(Global PositioningSystem，简称GPS)数据的获取授权后，可以利用GPS获取用户201当前所在的位置的第一位置数据。例如，可以采集用户201所使用的终端设备101、102、103上的GPS采集得到的位置数据并实时更新。

在一个实施例中，可以是在用户201利用终端设备101、102、103发起推荐请求时，获取该第一位置数据。

然后在操作S320，确定用户201当前所在位置所属的区域200内的N个线下服务点，其中，N为大于或等于2的整数。

例如，当该N个线下服务点所提供的服务相同时，比如用户201想要去银行网点、超市和理发店其中之一时，可以根据用户201所选择的服务，确定区域200内提供相应服务的线下服务点。

又例如，当用户201想要分别获取到M(M大于或等于2)种服务时，可以基于用户201在终端设备101、102、103中的选择操作，指定该M种服务，然后从用户201当前所在位置所属的区域200内查找提供该M种服务中的每一种服务的线下服务点。

接下来可以在操作S330，利用训练好的神经网络模型预测所述N个线下服务点中每个线下服务点在接下来的预设时间段内的预计排队数据。

预计排队数据例如可以包括在该预设时间段内的各个时刻(例如，每隔预定时间间隔)对应的排队人数。

该预设时间段可以是几小时、半天(例如一上午、一下午)、一天等。

该神经网络模型例如可以是Prophet时序数据预测算法模型、时间序列回归模型、ARIMA算法模型、指数平滑算法模型、或移动平均法模型等。

在训练神经网络模型时，可以将每个线下服务点各自的历史排队数据输入至神经网络模型中，使神经网络模型学习各个线下服务点的排队人数随时间变化的周期性和趋势线等特征。其中，一个历史排队数据可以包括排队人数、以及采集该排队人数的日期、星期或时刻等时间数据。

在神经网络模型的训练过程中，可以通过反向传播算法继进行训练。反向传播算法的训练过程包括如下步骤1～步骤4。

步骤1：初始化神经网络模型，对每个神经元的w(权重)和b(偏置)赋予随机值；

步骤2：输入训练数据，对于每个训练数据，将输入给到神经网络的输入层，进行一次正向传播得到输出层各个神经元的输出值；

步骤3：求输出层的误差，再通过反向传播算法，向后求出每一层的每个神经元的误差；

步骤4：通过误差可以得出每个神经元的

和

(其中，C为输出)，再乘上负的学习率-η，就得到了Δw和Δb，如式(1)所示：

然后将每个神经元的w和b更新为w+Δw、b+Δb，从而完成对神经网络模型的训练。所述

的函数公式为：

式(2)中，y_k表示神经元输出层第k个节点的输出值，T为神经元输出层第k个节点的预期输出值，M为输出层的节点个数。

通过反向传播算法经过多轮的训练后，当训练结果的收敛性和准确度满足要求时，可以终止训练。然后可以利用训练好的神经网络模型来预测各个线下服务点的排队人数预测。

预测的具体过程可以是，首先获取所述N个线下服务点中每个线下服务站点的标识信息和截止当前的历史排队数据，然后以每个线下服务站点的标识信息和历史排队数据作为神经网络模型的输入数据，利用所述神经网络模型预测每个线下服务站点的所述预计排队数据。

此后在操作S340，利用强化学习算法向用户201推荐当前应该前往的目标服务点，所述目标服务点为所述N个线下服务点其中之

强化学习算法的核心是研究智能体与环境的相互作用，通过不断学习最优策略，作出序列决策并获得最大回报。其中，智能体在时刻t观测到所处环境和自身当前的状态，根据策略采取一个动作，下一个时刻t+1，环境根据智能体采取的行动给予一个即时回报，并进入一个新的状态，智能体根据获得的回报对策略进行调整，并进入下一个决策过程。

具体到本公开实施例中，用户201可以被视为强化学习算法中的智能体。强化学习算法的动作序列可以包括N个线下服务点，强化学习算法的环境状态包括用户201当前所处位置的第一位置数据以N个线下服务点各自的预计排队数据，所述强化学习算法的即时回报包括基于用户201前往每个线下服务点接受服务所花费的时间成本所确定的奖励。

本公开实施例中所使用的强化学习算法具体可以是Q学习算法，即Q-leaning算法。Q-leaning算法的计算公式如下式(3)：

其中，s表示当前的环境状态，

表示下一个环境状态；a表示当前的动作，

表示下一个动作；R为即时回报，γ为贪婪因子(学习参数，0＜γ＜1，一般设置为0.8)，Q表示的是，在当前状态s下采取动作a能够获得的期望最大收益。

其中式(3)中a、

的取值来自于强化学习算法的动作序列，即N个线下服务点。s、

的取值来自于强化学习算法的环境状态，包括用户的当前位置、以及N个线下服务点的预计排队数据等。

而强化学习算法R的取值，在一个实施例中，可以设置一个时长阈值，然后根据用户的当前位置、以及每个线下服务点的预计排队数据等计算用户201前往每个线下服务点接受服务所花费的时间成本，当用户所花费的时间成本大于该时长阈值时，可以将奖励设置零或负值，当用户201所花费的时间成本大于该时长阈值时，可以将该奖励设置为1或正值，以此方式，可以在用户201获取服务所用时长超出时长阈值后，对该种行动策略进行抑制，在用户201获取服务所用时长小于时长阈值后，对该种行动策略进行激励。

在一些实施例中，该时间成本可以仅包括用户201到达线下服务点后的等待时间成本。例如，当区域200的空间距离不大的情况下，比如区域200为社区、街区、商场或者医院等时，可以忽略用户201前往N个线下服务点路上的时间，或者用户201反感在线下服务点等待，但对于路上时间并不敏感的情况下，根据本公开实施例，强化学习算法的即时回报中可以仅考虑等待时间成本。

在另一些实施中，该强化学习算法的即时回报中的时间成本除了等待时间成本以外，还可以包括用户201前往对应的线下服务点的单程时间成本或往返时间成本。其中，根据该当前距离数据以及用户201最有可能选择的交通工具来确定用户201前往线下服务点的路上所花费的时间成本。

当该N个线下服务点所提供的服务相同时，用户201仅需要去N个线下服务点其中之一获取服务。从而强化学习算法中的即时回报R可以仅包括前往一个线下服务点后所花费的时间成本对应的奖励。其中，该强化学习算法的即时回报中的等待时间成本，可以根据用户201到达每个线下服务点的到达时刻的排队人数来预计。其中，可以从预计排队数据中获取到该到达时刻的排队人数。从而，通过强化学习算法可以在当前环境(包括用户201所处位置为第一位置数据，以及N个线下服务点的排队情况为预计排队数据)下，预测出在获取服务的过程中所花时间最短的线下服务点作为目标服务点并推荐给用户201。

当N个线下服务点提供M种服务时，用户需要前往M个线下服务点来分别获取服务。这样就需要从N个线下服务点中选择出分别提供M种服务的M个线下服务点，而且对该M个线下服务点还要按照顺序进行排序。并且，用户201到达该M个线下服务点中后一个线下服务点的时刻，需要从预计离开前一线下服务点的时刻起算。从而，强化学习算法中的即时回报R可以包括用户按照一定顺序前往该M个线下服务点获取M种服务所花费的时间成本对应的奖励。这样，通过强化学习算法可以预测出当前环境(包括用户201所处位置为第一位置数据，以及N个线下服务点的排队情况为预计排队数据)下，用户201获取到M种服务的总时长最短的行动策略(例如，用户201在当前环境下获取M种服务的先后顺序以及对应前往的M个线下服务点的序列)。然后按照该行动策略，可以推荐用户201当前该前往的线下服务点。

根据本公开的实施例，可以基于当前环境进行实时的推荐，可以在一定程度上减少用户接受线下服务点的服务时的所花费的时间成本(例如，排队等待的时长)，而且可以提高推荐的实时性。

图4示意性示出了根据本公开另一实施例的线下服务点推荐方法的流程图。

如图4所示，根据该实施例的线下服务点推荐方法除了操作S310～操作S340以外，还可以包括操作S410和操作S420。

在操作S410，获取所述N个线下服务点中每个线下服务点所在位置的第二位置数据。

然后在操作S420，基于所述第一位置数据和所述第二位置数据，确定用户201与每个线下服务点之间的当前距离数据。

这样，可以在操作S340中利用强化学习算法进行线下服务点推荐时，可以将当前距离数据作为环境状态输入给强化学习算法。从而，所述强化学习算法的环境状态除了用户201当前位置的第一位置数据、N个线下服务点各自的所述预计排队数据外还包括了所述当前距离数据。这样在推荐时可以兼顾考虑用户与N个线下服务点之间的距离。

相应地，该强化学习算法的即时回报中所依据的时间成本除了等待时间成本以外，还可以包括用户201前往对应的线下服务点的单程时间成本或往返时间成本。其中，根据该当前距离数据以及用户201最有可能选择的交通工具来确定用户201前往线下服务点的路上所花费的时间成本。

以此方式，在利用强化学习算法进行推荐时，该强化学习算法可以向用户推荐排队等待和路上所花时间总和最小的线下服务点。

根据本公开的实施例，通过神经网络模型预测各个线下服务点的预计排数数据，然后利用强化学习算法通过对用户的当前位置、各个线下服务点的预计排数数据等环境状态的学习和分析，寻找出预计使用户接受服务所花费的时间成本最小的行动策略，在一定程度上减少用户接受线下服务点的服务时的所花费的时间成本。并且通过强化学习算法，可以实时地更新环境状态，从而提高推荐准确率。

基于上述线下服务点推荐方法，本公开还提供了一种线下服务点推荐装置。以下将结合图5对该装置进行详细描述。

图5示意性示出了根据本公开实施例的线下服务点推荐装置的框图。

如图5所示，根据本公开的实施例，线下服务点推荐装置500可以包括第一获取模块510、确定模块520、排队数据预测模块530以及推荐模块540。根据本公开的一些实施例，该装置500还可以包括第二获取模块550。根据本公开的实施例，该装置500可以用于实现参考图3或图4所描述的方法。

第一获取模块510用于获取用户当前所在位置的第一位置数据。在一个实施例中，第一获取模块510可以执行参考前文描述的操作S310。

确定模块520用于确定用户当前所在位置所属的区域内的N个线下服务点，其中，N为大于或等于2的整数。在一个实施例中，确定模块520可以执行参考前文描述的操作S320。

排队数据预测模块530用于利用训练好的神经网络模型预测所述N个线下服务点中每个线下服务点在接下来的预设时间段内的预计排队数据。在一个实施例中，排队数据预测模块530可以执行前文描述的操作S330。

推荐模块540用于利用强化学习算法向用户推荐当前应该前往的目标服务点，所述目标服务点为所述N个线下服务点其中之一。其中，所述强化学习算法的动作序列包括所述N个线下服务点，所述强化学习算法的环境状态包括用户所在位置的位置数据，所述强化学习算法的即时回报包括基于用户前往每个线下服务点接受服务所花费的时间成本所确定的奖励。在一些实施例中，推荐模块510例如可以执行前文描述的操作S340。

所述第二获取模块550用于获取所述N个线下服务点中每个线下服务点所在位置的第二位置数据，以及基于所述第一位置数据和所述第二位置数据，确定与每个线下服务点之间的当前距离数据。相应地，在推荐模块540进行目标服务点推荐时所使用的强化学习算法的环境状态还包括所述当前距离数据。在一个实施例中，第二获取模块550可以执行前文描述的操作S410和操作S420。

根据本公开的实施例，第一获取模块510、确定模块520、排队数据预测模块530、推荐模块540和第二获取模块550中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第一获取模块510、确定模块520、排队数据预测模块530、推荐模块540和第二获取模块550中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第一获取模块510、确定模块520、排队数据预测模块530、推荐模块540和第二获取模块550中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

如图6所示，根据本公开实施例的电子设备600包括处理器601，其可以根据存储在只渎存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。处理器601例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 603中，存储有电子设备600操作所需的各种程序和数据。处理器601、ROM602以及RAM 603通过总线604彼此相连。处理器601通过执行ROM 602和/或RAM 603中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 602和RAM 603以外的一个或多个存储器中。处理器601也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备600还可以包括输入/输出(I/O)接口605，输入/输出(I/O)接口605也连接至总线604。电子设备600还可以包括连接至I/O接口605的以下部件中的一项或多项：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可渎存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 602和/或RAM 603和/或ROM 602和RAM 603以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的方法。

在该计算机程序被处理器601执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分609被下载和安装，和/或从可拆卸介质611被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims

1.一种线下服务点推荐方法，包括：

在获得用户授权后，获取用户当前所在位置的第一位置数据；

确定用户当前所在位置所属的区域内的N个线下服务点，其中，N为大于或等于2的整数；

利用训练好的神经网络模型预测所述N个线下服务点中每个线下服务点在接下来的预设时间段内的预计排队数据；以及

利用强化学习算法向用户推荐当前应该前往的目标服务点，所述目标服务点为所述N个线下服务点其中之一；

其中，所述强化学习算法的动作序列包括所述N个线下服务点，所述强化学习算法的环境状态包括所述第一位置数据以及所述N个线下服务点各自的所述预计排队数据，所述强化学习算法的即时回报包括基于用户前往每个线下服务点接受服务所花费的时间成本所确定的奖励。

2.根据权利要求1所述的方法，其中，

所述N个线下服务点提供的服务相同；或者

所述N个线下服务点提供M种服务，其中，每个线下服务点提供所述M种服务的其中之一，M为整数，且2≤M≤N。

3.根据权利要求2所述的方法，其中，所述方法还包括：

获取所述N个线下服务点中每个线下服务点所在位置的第二位置数据；以及

基于所述第一位置数据和所述第二位置数据，确定用户与每个线下服务点之间的当前距离数据；

其中，所述强化学习算法的环境状态还包括所述当前距离数据。

4.根据权利要求3所述的方法，其中，

所述时间成本包括：基于每个所述线下服务点的所述预计排队数据确定的用户到达每个所述线下服务点后的等待时间成本。

5.根据权利要求4所述的方法，其中，

所述时间成本还包括：基于所述当前距离数据确定的单程时间成本或往返时间成本。

6.根据权利要求2所述的方法，其中，所述确定用户当前所在位置所属的区域内的N个线下服务点包括：

基于用户选择的所述M种服务，从用户当前所在位置所属的区域内查找提供所述M种服务中的每一种服务的线下服务点，以得到所述N个线下服务点。

7.根据权利要求1所述的方法，其中，所述利用训练好的神经网络模型预测所述N个线下服务点中每个线下服务点在接下来的预设时间段内的预计排队数据包括：

获取所述N个线下服务点中每个线下服务站点的标识信息和截止当前的历史排队数据；

以每个线下服务站点的标识信息和所述历史排队数据作为所述神经网络模型的输入数据，利用所述神经网络模型预测每个线下服务站点的所述预计排队数据。

8.一种线下服务点推荐装置，包括：

第一获取模块，用于在获得用户授权后，获取用户当前所在位置的第一位置数据；

确定模块，用于确定用户当前所在位置所属的区域内的N个线下服务点，其中，N为大于或等于2的整数；

排队数据预测模块，用于利用训练好的神经网络模型预测所述N个线下服务点中每个线下服务点在接下来的预设时间段内的预计排队数据；以及

推荐模块，用于利用强化学习算法向用户推荐当前应该前往的目标服务点，所述目标服务点为所述N个线下服务点其中之一；其中，所述强化学习算法的动作序列包括所述N个线下服务点，所述强化学习算法的环境状态包括所述第一位置数据以及所述N个线下服务点各自的所述预计排队数据，所述强化学习算法的即时回报包括基于用户前往每个线下服务点接受服务所花费的时间成本所确定的奖励。

9.一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～7中任一项所述的方法。

11.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～7中任一项所述的方法。