CN112580889A - 服务资源预估方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供的一种服务资源预估方法、装置、电子设备及存储介质，涉及数据处理技术领域。服务资源预估方法包括：针对预设区域，采集获取当前时间之前历史时长的历史资源需求量、历史资源总量；采用历史资源需求量、历史资源总量作为预设估计模型的输入，计算获取预设区域的估计投放量，其中，预设估计模型根据训练数据强化学习获取，训练数据包括：预设时长内预设区域的样本资源需求量、样本资源总量、以及对应的投放数据、参考参数。基于样本资源需求量、样本资源总量、对应的投放数据、以及参考参数，通过强化学习确定预设估计模型，最终利用预设估计模型得出预设区域的估计投放量，提高了对于服务资源预估投放的准确率。

Description

服务资源预估方法、装置、电子设备及存储介质

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种服务资源预估方法、装置、电子设备及存储介质。

背景技术

共享经济已经成为当今时代发展的趋势，生活中出现的各种共享产品，例如：自行车、三轮车、电动车、汽车、雨伞、充电宝等，极大地提升了居民出行的便利性。用户通过搭载有APP(application，应用)的终端(例如手机)实现对共享产品的使用。

而共享产品业务从诞生起就面临如何投放，在哪里投放，如何调节投放的问题。现有技术中，共享产品普遍采用“热区投放”、“过量投放”的投放策略。

现有的投放策略对于用户需求量预估不准确、进而影响了共享产品的利用率。

发明内容

有鉴于此，本申请实施例的目的在于提供一种服务资源预估方法、装置、电子设备及存储介质，以解决现有技术中无法针对共享产品预估用户的真实需求，而导致共享产品利用率与需求不匹配的问题。

第一方面，本申请实施例提供了一种服务资源预估方法，包括：

针对预设区域，采集获取当前时间之前历史时长的历史资源需求量、历史资源总量；

采用所述历史资源需求量、所述历史资源总量作为预设估计模型的输入，计算获取所述预设区域的估计投放量，其中，所述预设估计模型根据训练数据强化学习获取，所述训练数据包括：预设时长内所述预设区域的样本资源需求量、样本资源总量、以及对应的投放数据、参考参数。

可选地，所述针对预设区域，采集获取当前时间之前历史时长的历史资源需求量，包括：

针对所述预设区域，在所述历史时长的起点启动锁定资源监测，其中，所述锁定资源为所述预设区域的最后资源且不可用资源；

根据所述锁定资源监测，记录获取所述预设区域在所述历史时长的历史资源需求量。

可选地，所述参考参数包括：惩罚因子；所述方法还包括：

计算所述样本资源需求量与所述对应的投放数据的差值；

根据所述差值获取所述惩罚因子。

可选地，所述计算所述样本资源需求量与所述对应的投放数据的差值，包括：

根据所述样本资源需求量、所述对应的投放数据对应的时间段，获取不同时间段所述样本资源需求量与所述对应的投放数据的差值；

所述根据所述差值获取所述惩罚因子，包括：

根据不同时间段的所述样本资源需求量与所述对应的投放数据的差值，获取不同时间段对应的所述惩罚因子。

可选地，所述参考参数还包括：衰变系数、总成本函数；

所述预设估计模型根据训练数据，基于成本最小化进行强化学习获取。

可选地，所述针对所述预设区域，在所述历史时长的起点启动锁定资源监测，包括：

在所述预设区域的运营数据达到预设条件时，启动所述锁定资源监测，其中所述预设条件包括：所述预设区域的服务资源连续用完频率大于第一预设阈值，或者，所述预设区域的服务资源连续剩余量大于预设剩余量且剩余频率大于第二预设阈值。

可选地，所述根据所述锁定资源监测，记录获取所述预设区域在所述历史时长的历史资源需求量，包括：

在所述预设区域仅剩余所述锁定资源后，记录所述锁定资源的请求使用次数；

根据所述请求使用次数、所述预设区域的历史资源总量，计算获取所述预设区域在所述历史时长的历史资源需求量。

可选地，所述方法还包括：

接收用户终端发送的针对所述锁定资源的请求使用信息；

根据所述请求使用信息，获取所述用户终端的标识；

向所述用户终端发送反馈信息，所述反馈信息包括下述至少一项：奖励信息、致歉信息、指引信息，其中所述指引信息用于指引用户前往最近的其他可用服务资源。

可选地，所述针对预设区域，采集获取当前时间之前历史时长的历史资源需求量、历史资源总量之前，还包括：

将资源可投放范围划分为多个区域，各所述区域大小、形状一致，其中，所述预设区域为任一所述区域。

第二方面，本申请实施例提供了一种服务资源预估装置，包括：采集单元、计算单元；

所述采集单元，用于针对预设区域，采集获取当前时间之前历史时长的历史资源需求量、历史资源总量；

所述计算单元，用于采用所述历史资源需求量、所述历史资源总量作为预设估计模型的输入，计算获取所述预设区域的估计投放量，其中，所述预设估计模型根据训练数据强化学习获取，所述训练数据包括：预设时长内所述预设区域的样本资源需求量、样本资源总量、以及对应的投放数据、参考参数。

可选地，所述采集单元，具体用于针对所述预设区域，在所述历史时长的起点启动锁定资源监测，其中，所述锁定资源为所述预设区域的最后资源且不可用资源；

根据所述锁定资源监测，记录获取所述预设区域在所述历史时长的历史资源需求量。

可选地，所述参考参数包括：惩罚因子；所述装置还包括：获取单元；

所述计算单元，还用于计算所述样本资源需求量与所述对应的投放数据的差值；

所述获取单元，用于根据所述差值获取所述惩罚因子。

可选地，所述计算单元，具体用于根据所述样本资源需求量、所述对应的投放数据对应的时间段，获取不同时间段所述样本资源需求量与所述对应的投放数据的差值；

所述获取单元，具体用于根据不同时间段的所述样本资源需求量与所述对应的投放数据的差值，获取不同时间段对应的所述惩罚因子。

可选地，所述参考参数还包括：衰变系数、总成本函数；所述预设估计模型根据训练数据，基于成本最小化进行强化学习获取。

可选地，所述采集单元，具体用于在所述预设区域的运营数据达到预设条件时，启动所述锁定资源监测，其中所述预设条件包括：所述预设区域的服务资源连续用完频率大于第一预设阈值，或者，所述预设区域的服务资源连续剩余量大于预设剩余量且剩余频率大于第二预设阈值。

可选地，所述采集单元，具体用于在所述预设区域仅剩余所述锁定资源后，记录所述锁定资源的请求使用次数；

根据所述请求使用次数、所述预设区域的历史资源总量，计算获取所述预设区域在所述历史时长的历史资源需求量。

可选地，所述装置还包括：接收单元、发送单元；

所述接收单元，用于接收用户终端发送的针对所述锁定资源的请求使用信息；

所述获取单元，还用于根据所述请求使用信息，获取所述用户终端的标识；

所述发送单元，用于向所述用户终端发送反馈信息，所述反馈信息包括下述至少一项：奖励信息、致歉信息、指引信息，其中所述指引信息用于指引用户前往最近的其他可用服务资源。

可选地，所述装置还包括：区域划分单元；

所述区域划分单元，用于将资源可投放范围划分为多个区域，各所述区域大小、形状一致，其中，所述预设区域为任一所述区域。

本申请第三方面提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述第一方面任一项所述的服务资源预估方法的步骤。

本申请第四方面提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时，执行如上述第一方面任一项所述的服务资源预估方法的步骤。

本申请实施例提供的一种服务资源预估方法、装置、电子设备及存储介质中，方法包括：针对预设区域，采集获取当前时间之前历史时长的历史资源需求量、历史资源总量；采用历史资源需求量、历史资源总量作为预设估计模型的输入，计算获取预设区域的估计投放量，其中，预设估计模型根据训练数据强化学习获取，训练数据包括：预设时长内预设区域的样本资源需求量、样本资源总量、以及对应的投放数据、参考参数。基于样本资源需求量、样本资源总量、对应的投放数据、以及参考参数，通过强化学习确定预设估计模型，最终利用预设估计模型得出预设区域的估计投放量，提高了对于服务资源预估投放的准确率以及共享产品的利用率。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请一实施例提供的服务资源预估系统的框图；

图2为本申请一实施例提供的电子设备的结构示意图；

图3为本申请一实施例提供的服务资源预估方法的流程示意图；

图4为本申请另一实施例提供的服务资源预估方法的流程示意图；

图5为本申请另一实施例提供的服务资源预估方法的流程示意图；

图6为本申请另一实施例提供的服务资源预估方法的流程示意图；

图7为本申请一实施例提供的服务资源预估装置的示意图；

图8为本申请另一实施例提供的服务资源预估装置的示意图；

图9为本申请另一实施例提供的服务资源预估装置的示意图；

图10为本申请另一实施例提供的服务资源预估装置的示意图；

图11为本申请一实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

此外，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

本申请中使用的定位技术可以基于全球定位系统(Global Positioning System，GPS)、全球导航卫星系统(Global Navigation Satellite System，GLONASS)、北斗系统、罗盘导航系统(COMPASS)、伽利略定位系统、准天顶卫星系统(Quasi-Zenith SatelliteSystem，QZSS)、无线保真(Wireless Fidelity，WiFi)定位技术等，或其任意组合。一个或多个上述定位系统可以在本申请中互换使用。

图1为本申请实施例提供的一种服务资源预估系统的框图。例如，服务资源预估系统100可以是应用于共享自行车投放量的预估、共享雨伞投放量的预估等一些共享产品投放量预估系统中。服务资源预估系统100可以包括服务器110、网络120、终端140和数据库150中的一种或多种，服务器110中可以包括执行指令操作的处理器。

在一些实施例中，服务器110可以是单个服务器，也可以是服务器组。服务器组可以是集中式的，也可以是分布式的(例如，服务器110可以是分布式系统)。在一些实施例中，服务器110相对于终端，可以是本地的、也可以是远程的。例如，服务器110可以经由网络120访问存储在终端140、或数据库150、或其任意组合中的信息和/或数据。作为另一示例，服务器110可以直接连接到终端140和数据库150中至少一个，以访问存储的信息和/或数据。在一些实施例中，服务器110可以在云平台上实现；仅作为示例，云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等，或者它们的任意组合。在一些实施例中，服务器110可以在具有本申请中图2所示的一个或多个组件的电子设备200上实现。

在一些实施例中，服务器110可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据，以执行本申请中描述的一个或多个功能。例如，处理器可以基于从终端130获得的使用请求信息确定历史资源需求量。在一些实施例中，处理器可以包括一个或多个处理核(例如，单核处理器(S)或多核处理器(S))。仅作为举例，处理器可以包括中央处理单元(Central Processing Unit，CPU)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、专用指令集处理器(Application Specific Instruction-setProcessor，ASIP)、图形处理单元(Graphics Processing Unit，GPU)、物理处理单元(Physics Processing Unit，PPU)、数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、可编程逻辑器件(Programmable Logic Device，PLD)、控制器、微控制器单元、简化指令集计算机(ReducedInstruction Set Computing，RISC)、或微处理器等，或其任意组合。

网络120可以用于信息和/或数据的交换。在一些实施例中，服务资源预估系统100中的一个或多个组件(例如，服务器110，终端140和数据库150)可以向其他组件发送信息和/或数据。例如，服务器110可以经由网络120从终端130获取使用请求信息。在一些实施例中，网络120可以是任何类型的有线或者无线网络，或者是他们的结合。仅作为示例，网络120可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(LocalArea Network，LAN)、广域网(Wide Area Network，WAN)、无线局域网(Wireless LocalArea Networks，WLAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide AreaNetwork，WAN)、公共电话交换网(Public Switched Telephone Network，PSTN)、蓝牙网络、ZigBee网络、或近场通信(Near Field Communication,NFC)网络等，或其任意组合。在一些实施例中，网络120可以包括一个或多个网络接入点。例如，网络120可以包括有线或无线网络接入点，例如基站和/或网络交换节点，服务资源预估系统100的一个或多个组件可以通过该接入点连接到网络120以交换数据和/或信息。

在一些实施例中，终端140可以包括移动设备、平板计算机等。在一些实施例中，移动设备可以包括可穿戴设备、智能移动设备等。在一些实施例中，智能移动设备可以包括智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏设备、导航设备等，或其任意组合。

数据库150可以存储数据和/或指令。在一些实施例中，数据库150可以存储从终端140获得的数据。在一些实施例中，数据库150可以存储在本申请中描述的示例性方法的数据和/或指令。在一些实施例中，数据库150可以包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器(Read-Only Memory，ROM)等，或其任意组合。作为举例，大容量存储器可以包括磁盘、光盘、固态驱动器等；可移动存储器可包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等；易失性读写存储器可以包括随机存取存储器(Random AccessMemory，RAM)；RAM可以包括动态RAM(Dynamic Random Access Memory，DRAM)，双倍数据速率同步动态RAM(Double Date-Rate Synchronous RAM，DDR SDRAM)；静态RAM(StaticRandom-Access Memory，SRAM)，晶闸管RAM(Thyristor-Based Random Access Memory，T-RAM)和零电容器RAM(Zero-RAM)等。作为举例，ROM可以包括掩模ROM(Mask Read-OnlyMemory，MROM)、可编程ROM(Programmable Read-Only Memory，PROM)、可擦除可编程ROM(Programmable Erasable Read-only Memory，PEROM)、电可擦除可编程ROM(ElectricallyErasable Programmable read only memory，EEPROM)、光盘ROM(CD-ROM)、以及数字通用磁盘ROM等。在一些实施例中，数据库150可以在云平台上实现。仅作为示例，云平台可以包括私有云、公有云、混合云、社区云、分布式云、跨云、多云或者其它类似的等，或其任意组合。

在一些实施例中，数据库150可以连接到网络120以与服务资源预估系统100(例如，服务器110，终端140等)中的一个或多个组件通信。服务资源预估系统100中的一个或多个组件可以经由网络120访问存储在数据库150中的数据或指令。在一些实施例中，数据库150可以直接连接到服务资源预估系统100中的一个或多个组件(例如，服务器110，终端140等)；或者，在一些实施例中，数据库150也可以是服务器110的一部分。

图2为本申请实施例提供的可以实现本申请思想的电子设备的示例性硬件和软件组件的示意图。例如，处理器220可以用于电子设备200上，并且用于执行本申请中的功能。

电子设备200可以是通用计算机或特殊用途的计算机，两者都可以用于实现本申请的服务资源预估方法。本申请尽管仅示出了一个计算机，但是为了方便起见，可以在多个类似平台上以分布式方式实现本申请描述的功能，以均衡处理负载。

例如，电子设备200可以包括连接到网络的网络端口210、用于执行程序指令的一个或多个处理器220、通信总线230、和不同形式的存储介质240，例如，磁盘、ROM、或RAM，或其任意组合。示例性地，计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备200还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output，I/O)接口250。

为了便于说明，在电子设备200中仅描述了一个处理器。然而，应当注意，本申请中的电子设备200还可以包括多个处理器，因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若电子设备200的处理器执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B。

共享经济已经成为当今时代发展的趋势，生活中出现的各种共享产品，例如：自行车、三轮车、电动车、汽车、雨伞、充电宝等，极大地提升了居民出行的便利性。用户通过搭载有APP(application，应用)的终端(例如手机)实现对共享产品的使用。而共享产品业务从诞生起就面临如何投放，在哪里投放，如何调节投放的问题。

本申请实施例中以共享产品为自行车为例，用户在使用共享自行车时，主要分为刚性需求和替代性需求。刚性需求是指用户有明确的使用自行车作为交通工具的述求，例如：用户骑自行车到地铁站乘坐地铁，用户骑自行车去某公交未覆盖的地点。对于此类需求，用户一般在出行之前就已经规划确定使用自行车作为交通工具。因此，用户会直接去寻找自行车，来满足自身需求。可替代性需求是指用户在出行过程中由于各种因素临时选择自行车作为交通工具的述求，例如：用户在步行时发现前方恰好有一辆自行车，考虑到时间和体力成本，做出改骑自行车的决策，用户在打车困难时，恰好看到附近有自行车，于是选择改骑自行车等等。此类需求确定性不高，用户一般在出行之前并未规划确定使用自行车作为交通工具。因此，用户主动寻找自行车的意愿不高，如果出行过程中，用户在线下未发现自行车，大概率不会打开终端的应用程序(APP)扫车，因此，该类需求极容易转化为沉默需求，难以被平台识别预估。

本申请实施例提供一种服务资源预估方法，基于样本资源需求量、样本资源总量、对应的投放数据、以及参考参数，通过强化学习确定预设估计模型，最终利用预设估计模型得出预设区域的估计投放量，提高了对于服务资源预估投放的准确率以及共享产品的利用率。

本申请实施例提供一种服务资源预估方法，其执行主体可以为上述图1所述的服务资源预估系统100中的服务器110，当然，执行主体还可以为与服务器110通信连接的测试终端，当执行主体为测试终端时，测试终端可以从服务器110中获取线上订单业务数据。下述以服务器为执行主体，对本申请实施例提供的服务资源预估方法，进行解释说明。

图3示出本申请的一些实施例的一种服务资源预估方法的流程示意图，如图3所示，该方法可以包括：

S301、针对预设区域，采集获取当前时间之前历史时长的历史资源需求量、历史资源总量。

可选地，本申请实施例中的历史资源需求量、历史资源总量为多种共享产品在预估时间点之前的需求量和总量，多种共享产品例如：自行车、三轮车、电动车、汽车、雨伞、充电宝等。为便于描述，以下实施例均以自行车，即共享单车为例进行说明。

其中，预设区域可以是整个监测区域，包括一个省份范围内的整体区域、一个市区范围内的整个区域，此外，预设区域还可以是将整个监测区域进行区域划分后的小区域。历史时长可以是当前时间之前一段时间周期内的时长，例如：当前时间之前一周内、当前时间之前一个月内，在本申请实施例中，对于预设区域的范围大小以及历史时长不做具体限定。

S302、采用历史资源需求量、历史资源总量作为预设估计模型的输入，计算获取预设区域的估计投放量。

可选地，在本申请实施例中，预设估计模型根据训练数据强化学习获取，训练数据包括：预设时长内预设区域的样本资源需求量、样本资源总量、对应的投放数据、以及参考参数。

需要说明的是，强化学习的过程即是构建决策的过程，构建决策一般为是通过学习选择最大化总收益的决策。

其中，预设时长内预设区域的样本资源需求量可以为预设区域、预设时长中共享单车的实际需求量。样本资源总量可以为预设时长中共享单车驶入预设区域的数量、以及预设区域预设时长中原有共享单车数量之和。

可选地，样本资源总量不仅包括当前供应商的共享单车进入量，还包括其他供应商的共享单车进入量。可以通过大数据或跨平台的方式进行获取，在此不作限制。

对应的投放数据可以是在不同的样本资源需求量、样本资源总量下所对应人为决策的共享单车投放数据。参考参数可以包括：惩罚参数、至少一种预设函数、参考系数等。惩罚参数用来表征在不同的共享单车需求量、共享单车进入量下对应的投放数据是否能够满足市场需求的程度。至少一种预设函数，例如包括：代价函数、总代价函数等。参考系数可以是参与强化学习训练时的训练系数。

此外，需要强调的是，历史资源需求量可以包括样本资源需求量中的其中一部分最新数据，也可以与样本资源需求量对等，相应地，历史资源总量可以为样本资源总量中的其中一部分最新数据，也可以与样本资源需求量对等。

本申请实施例提供的服务资源预估方法，包括：针对预设区域，采集获取当前时间之前历史时长的历史资源需求量、历史资源总量；采用历史资源需求量、历史资源总量作为预设估计模型的输入，计算获取预设区域的估计投放量，其中，预设估计模型根据训练数据强化学习获取，训练数据包括：预设时长内预设区域的样本资源需求量、样本资源总量、以及对应的投放数据、参考参数。基于样本资源需求量、样本资源总量、对应的投放数据、以及参考参数，通过强化学习确定预设估计模型，最终利用预设估计模型得出预设区域的估计投放量，提高了对于服务资源预估投放的准确率以及共享产品的利用率。

图4为本申请另一实施例提供的一种服务资源预估方法的流程示意图，如图4所示，步骤S301具体可以包括：

S401、针对预设区域，在历史时长的起点启动锁定资源监测。

可选地，在本申请实施例中，锁定资源为预设区域的最后资源且不可用资源。历史时长的起点可以是数据收集的起始时间点，例如：一个月前、每天的某个时刻、某个时间段等。

以共享单车为例，在历史时长的起点启动锁定资源，可以是在数据采集的一个月内当预设区域内剩余最后一辆共享单车时，则启动自动锁车策略，即用户可以通过设备扫码的方式可以打开共享单车，而共享单车在被打开后会立即重新锁定，用户无法骑走。在本申请实施例中，预设区域的最后共享单车且不可用共享单车可以被称为“哨兵单车”。

需要说明的是，在本申请实施例中，预设区域内最后一辆共享单车的获取可以通过单车的定位信息获取。

S402、根据锁定资源监测，记录获取预设区域在历史时长的历史资源需求量。

可选地，预设区域在历史时长的历史资源需求数据可以通过锁定资源监测数据获取。例如可以通过锁定资源被请求使用的次数(例如被扫码的次数)以及预设区域历史资源的资源总量获取历史资源需求量。

可选地，所述参考参数包括：惩罚因子。

所述方法还包括：计算所述样本资源需求量与所述对应的投放数据的差值；根据所述差值获取所述惩罚因子。

可选地，惩罚因子用于表示根据样本资源需求量、样本资源总量等相关数据所决策的投放数据能否满足现有市场需求和估计总收益的程度。

可选地，在本申请实施例中，可以根据样本资源需求量与对应的投放数据的差值作为惩罚因子。

例如：监控周期为一个月，将监控周期内前三天作为初始数据确定期，在初始数据确定期内，如果初始数据确定期内历史资源需求量分别为：130、120、125，则可以确定监控区域内初始资源需求量为：130+120+125＝125，此外，根据定位数据获取的初始数据确定期内的样本资源总量为120、112、118，则可以确定监控区域内样本资源总量为：120+112+118＝116辆，基于此，可以初步确定共享单车进入量无法满足监控区域的监控周期内的共享单车需求量，并初步确定第四天对应的投放数据可以是125辆。

在确定对应的投放数据之后，获取对应的投放数据与对应的时间范围内的样本资源需求量之差，作为惩罚因子。

例如：当第四天对应的投放数据为125时，通过锁定资源监测获取的第四天的共享单车的样本资源需求量为123，则惩罚因子为125-123＝2。根据上述计算方式，不断调整对应的投放数据，并获取相应的惩罚因子。

可以理解的是，在本申请实施例中，惩罚因子的数值越小，表明对应的投放数据的数值越准确，在强化学习过程中，该数据所对应的权重越大。

可选地，计算样本资源需求量与对应的投放数据的差值，包括：根据样本资源需求量、对应的投放数据对应的时间段，获取不同时间段样本资源需求量与对应的投放数据的差值；根据差值获取惩罚因子，包括：根据不同时间段的样本资源需求量与对应的投放数据的差值，获取不同时间段对应的惩罚因子。

可选地，不同的时间段所对应的共享单车的需求量之间可能差异，例如：在上下班高峰期共享单车的需求量与夜间共享单车的需求量之间可能存在较大的差值、工业区和非工业区在不同时段的共享单车的需求量之间也可能不同。为了更加准确地获取预设区域的估计投放量，在本申请实施例中，还可以将监控周期分为不同的时间段。

示例性地，当监控周期为一个月时，可以将一个月内的每天划分为不同的时间段，例如划分规则可以为：7:00-9:00、9:00-12:00、12:00-14:00、14:00-17:00、17:00-21:00、21:00-24:00。

其中，根据所划分的时间段，获取不同时间段下的共享单车样本资源需求量与对应的共享单车投放数据的差值，将差值作为对应的惩罚因子。

可选地，参考参数还包括：衰变系数、总成本函数；预设估计模型根据训练数据，基于成本最小化进行强化学习获取。

在本申请实施例中，衰变系数取值在0-1之间，一般采用时间差分法进行更新。总成本函数一般包括在对应的投放数据下，由共享单车成本、单车运营成本、以及为用户提供的优惠券成本等确定的函数。

其中，总成本函数包括累计的当前预设区域内的所有成本之和。预设估计模型的训练则是基于成本最小化原则进行强化学习的训练。

为了减少锁定资源监测方式对用户体验的损害，尽可能的避免频繁出现自动锁车的情况，在完成监控周期内的采集后，在下一次启动锁定资源监测方式时需要满足一定的预设条件。

可选地，针对预设区域，在历史时长的起点启动锁定资源监测，包括：

在预设区域的运营数据达到预设条件时，启动锁定资源监测。

在本申请实施例中，预设条件可以包括：预设区域的服务资源连续用完频率大于第一预设阈值，或者，预设区域的服务资源连续剩余量大于预设剩余量且剩余频率大于第二预设阈值。

例如：当预设区域的共享单车在连续在一段时间内用完，且该连续时间超过第一预设阈值，则需要重新启动锁定资源监测。另外，当预设区域的共享单车剩余量连续大于预设剩余量，且连续时间超过第二预设阈值，则需要重新启动锁定资源监测。其中，第一预设阈值和第二预设阈值可以设置为两周或者两周以上，在此，对于第一预设阈值和第二预设阈值的设定不做具体限定。

图5为本申请另一实施例提供的一种服务资源预估方法的流程示意图，如图5所示，步骤S402具体可以包括：

S501、在预设区域仅剩余锁定资源后，记录锁定资源的请求使用次数。

S502、根据请求使用次数、预设区域的历史资源总量，计算获取预设区域在历史时长的历史资源需求量。

在本申请实施例中，当预设区域内剩余最后一辆共享单车，且该共享单车被请求使用了N次，则可以根据共享单车的请求使用次数N以及历史资源总量(包括：原本的共享单车投放量、历史时长内共享单车进入量)计算获取预设区域在历史时长的历史资源需求量。

例如：在历史时长内，共享单车的历史资源总量为100辆，且最后一辆共享单车被请求使用了20次，则获取的预设区域在历史时长的历史资源需求量可以是100+20-1＝119辆。

为了进一步提高用户对锁定资源监测方式的接受程度，在本申请实施例中，还可以对遭遇自动锁车的用户提供一定方式的补偿。

图6为本申请另一实施例提供的一种服务资源预估方法的流程示意图，如图6所示，该方法还包括：

S601、接收用户终端发送的针对锁定资源的请求使用信息。

S602、根据请求使用信息，获取用户终端的标识。

S603、向用户终端发送反馈信息。

可选地，当接收到用户终端发送的针对锁定资源的请求使用信息时，还可以根据请求信息中所携带的使用信息获取用户终端的标识。

其中，用户终端的标识例如可以是，用户手机号码信息，用户使用扫码APP时输入的账号信号等。

在一种实现方式中，可以根据用户终端的标识向用户发送反馈信息。反馈信息例如可以是下述至少一项：奖励信息、致歉信息、指引信息，其中指引信息用于指引用户前往最近的其他可用服务资源。

由于不同区域的资源需求量可能存在较大的不同，为了进一步提高对于预设区域的估计投放量的准确率，在本申请实施例中，还可以将预设区域进行具体划分。

可选地，针对预设区域，采集获取当前时间之前历史时长的历史资源需求量、历史资源总量之前，还包括：将资源可投放范围划分为多个区域，各区域大小、形状一致，其中，预设区域为任一区域。

需要说明的是，为了使得划分后的多个区域能够组合成完整的资源可投放范围，在本申请实施例中，可以将资源可投放范围按照预设的区域大小，以及预设形状进行划分。其中，预设区域大小例如可以是1000平米的区域，预设形状例如可以是正六边形、正方形等，在此对于预设区域的大小以及预设形状不做限定。

下述对用以执行本申请所提供的服务资源预估方法对应的服务资源预估装置、电子设备及存储介质等进行说明，其具体的实现过程以及技术效果参见上述服务资源预估方法的相关内容，下述不再赘述。

图7为本申请一实施例提供的服务资源预估装置的示意图，如图7所示，该装置可以包括：采集单元701、计算单元702；

采集单元701，用于针对预设区域，采集获取当前时间之前历史时长的历史资源需求量、历史资源总量；

计算单元702，用于采用历史资源需求量、历史资源总量作为预设估计模型的输入，计算获取预设区域的估计投放量，其中，预设估计模型根据训练数据强化学习获取，训练数据包括：预设时长内预设区域的样本资源需求量、样本资源总量、对应的投放数据、以及参考参数。

可选地，采集单元701，具体用于针对预设区域，在历史时长的起点启动锁定资源监测，其中，锁定资源为预设区域的最后资源且不可用资源；

根据锁定资源监测，记录获取预设区域在历史时长的历史资源需求量。

图8为本申请另一实施例提供的服务资源预估装置的示意图。可选地，参考参数包括：惩罚因子，如图8所示，该装置还包括：获取单元703；

计算单元702，还用于计算样本资源需求量与对应的投放数据的差值；

获取单元703，用于根据差值获取惩罚因子。

可选地，计算单元702，具体用于根据样本资源需求量、对应的投放数据对应的时间段，获取不同时间段样本资源需求量与对应的投放数据的差值；

获取单元703，具体用于根据不同时间段的样本资源需求量与对应的投放数据的差值，获取不同时间段对应的惩罚因子。

可选地，参考参数还包括：衰变系数、总成本函数；预设估计模型根据训练数据，基于成本最小化进行强化学习获取。

可选地，采集单元701，具体用于在预设区域的运营数据达到预设条件时，启动锁定资源监测，其中预设条件包括：预设区域的服务资源连续用完频率大于第一预设阈值，或者，预设区域的服务资源连续剩余量大于预设剩余量且剩余频率大于第二预设阈值。

可选地，采集单元701，具体用于在预设区域仅剩余锁定资源后，记录锁定资源的请求使用次数；

根据请求使用次数、预设区域的历史资源总量，计算获取预设区域在历史时长的历史资源需求量。

图9为本申请另一实施例提供的服务资源预估装置的示意图，如图9所示，该装置还包括：接收单元704、发送单元705；

接收单元704，用于接收用户终端发送的针对锁定资源的请求使用信息；

获取单元703，还用于根据请求使用信息，获取用户终端的标识；

发送单元705，用于向用户终端发送反馈信息，反馈信息包括下述至少一项：奖励信息、致歉信息、指引信息，其中指引信息用于指引用户前往最近的其他可用服务资源。

图10为本申请另一实施例提供的服务资源预估装置的示意图，如图10所示，该装置还包括：区域划分单元706；

区域划分单元706，用于将资源可投放范围划分为多个区域，各区域大小、形状一致，其中，预设区域为任一区域。

上述单元模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等，或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接，或其任意组合。两个或更多个单元模块可以组合为单个单元模块，并且任何一个单元模块可以分成两个或更多个单元。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的，作为单元模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

需要说明的是，以上这些单元模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(Digital Singnal Processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个单元模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些单元模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。

图11为本申请一实施例提供的电子设备的结构示意图，如图11所示，该电子设备包括：处理器710和存储器720，例如，该电子设备可以为服务器，也可以为测试终端。

其中：存储器720用于存储程序，处理器710调用存储器720存储的程序，以执行上述图3至图6任一所述的方法实施例。具体实现方式和技术效果类似，这里不再赘述。

可选地，本发明还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述图3至图6任一所述的方法实施例。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种服务资源预估方法，其特征在于，包括：

针对预设区域，采集获取当前时间之前历史时长的历史资源需求量、历史资源总量；

采用所述历史资源需求量、所述历史资源总量作为预设估计模型的输入，计算获取所述预设区域的估计投放量，其中，所述预设估计模型根据训练数据强化学习获取，所述训练数据包括：预设时长内所述预设区域的样本资源需求量、样本资源总量、对应的投放数据、以及参考参数。

2.根据权利要求1所述的服务资源预估方法，其特征在于，所述针对预设区域，采集获取当前时间之前历史时长的历史资源需求量，包括：

针对所述预设区域，在所述历史时长的起点启动锁定资源监测，其中，所述锁定资源为所述预设区域的最后资源且不可用资源；

根据所述锁定资源监测，记录获取所述预设区域在所述历史时长的历史资源需求量。

3.根据权利要求1所述的服务资源预估方法，其特征在于，所述参考参数包括：惩罚因子；所述方法还包括：

计算所述样本资源需求量与所述对应的投放数据的差值；

根据所述差值获取所述惩罚因子。

4.根据权利要求3所述的服务资源预估方法，其特征在于，所述计算所述样本资源需求量与所述对应的投放数据的差值，包括：

根据所述样本资源需求量、所述对应的投放数据对应的时间段，获取不同时间段所述样本资源需求量与所述对应的投放数据的差值；

所述根据所述差值获取所述惩罚因子，包括：

根据不同时间段的所述样本资源需求量与所述对应的投放数据的差值，获取不同时间段对应的所述惩罚因子。

5.根据权利要求3或4所述的服务资源预估方法，其特征在于，所述参考参数还包括：衰变系数、总成本函数；

所述预设估计模型根据训练数据，基于成本最小化进行强化学习获取。

6.根据权利要求2所述的服务资源预估方法，其特征在于，所述针对所述预设区域，在所述历史时长的起点启动锁定资源监测，包括：

在所述预设区域的运营数据达到预设条件时，启动所述锁定资源监测，其中所述预设条件包括：所述预设区域的服务资源连续用完频率大于第一预设阈值，或者，所述预设区域的服务资源连续剩余量大于预设剩余量且剩余频率大于第二预设阈值。

7.根据权利要求2所述的服务资源预估方法，其特征在于，所述根据所述锁定资源监测，记录获取所述预设区域在所述历史时长的历史资源需求量，包括：

在所述预设区域仅剩余所述锁定资源后，记录所述锁定资源的请求使用次数；

根据所述请求使用次数、所述预设区域的历史资源总量，计算获取所述预设区域在所述历史时长的历史资源需求量。

8.根据权利要求7所述的服务资源预估方法，其特征在于，所述方法还包括：

接收用户终端发送的针对所述锁定资源的请求使用信息；

根据所述请求使用信息，获取所述用户终端的标识；

向所述用户终端发送反馈信息，所述反馈信息包括下述至少一项：奖励信息、致歉信息、指引信息，其中所述指引信息用于指引用户前往最近的其他可用服务资源。

9.根据权利要求1所述的服务资源预估方法，其特征在于，所述针对预设区域，采集获取当前时间之前历史时长的历史资源需求量、历史资源总量之前，还包括：

将资源可投放范围划分为多个区域，各区域大小、形状一致，其中，所述预设区域为任一所述区域。

10.一种服务资源预估装置，其特征在于，包括：采集单元、计算单元；

所述采集单元，用于针对预设区域，采集获取当前时间之前历史时长的历史资源需求量、历史资源总量；

所述计算单元，用于采用所述历史资源需求量、所述历史资源总量作为预设估计模型的输入，计算获取所述预设区域的估计投放量，其中，所述预设估计模型根据训练数据强化学习获取，所述训练数据包括：预设时长内所述预设区域的样本资源需求量、样本资源总量、对应的投放数据、以及参考参数。

11.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-9任一项所述方法的步骤。

12.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-9任一项所述方法的步骤。

Images