CN112819576A - 充电站推荐模型的训练方法、装置、及充电站的推荐方法 - Google Patents

充电站推荐模型的训练方法、装置、及充电站的推荐方法 Download PDF

Info

Publication number
CN112819576A
CN112819576A CN202110113001.7A CN202110113001A CN112819576A CN 112819576 A CN112819576 A CN 112819576A CN 202110113001 A CN202110113001 A CN 202110113001A CN 112819576 A CN112819576 A CN 112819576A
Authority
CN
China
Prior art keywords
charging
charging station
candidate
request
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110113001.7A
Other languages
English (en)
Other versions
CN112819576B (zh
Inventor
张韦嘉
刘浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110113001.7A priority Critical patent/CN112819576B/zh
Publication of CN112819576A publication Critical patent/CN112819576A/zh
Application granted granted Critical
Publication of CN112819576B publication Critical patent/CN112819576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/12—Electric charging stations

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Charge And Discharge Circuits For Batteries Or The Like (AREA)

Abstract

本申请公开一种充电站推荐模型的训练方法、充电站的推荐方法、装置、电子设备、存储介质、程序产品、路侧设备、以及云控平台，涉及计算机技术和数据处理技术中的人工智能、大数据、智能搜索、以及深度学习技术领域。包括：获取样本充电请求的车辆相关参数、候选充电站集合，根据车辆相关参数和候选充电站集合，确定候选充电站集合中各候选充电站的预测充电评价值，根据车辆相关参数、候选充电站集合和预测充电评价值，对预设强化学习模型框架进行训练，生成充电站推荐模型，分别考虑了车辆的特征、候选充电站的特征、候选充电站执行样本充电请求时的特征，实现了生成的充电站推荐模型的准确性和可靠性，从而实现了为用户推荐的充电站的可靠性。

Description

充电站推荐模型的训练方法、装置、及充电站的推荐方法
技术领域
本申请涉及计算机技术和数据处理技术中的人工智能、大数据、智能搜索、以及深度学习技术领域，尤其涉及一种充电站推荐模型的训练方法、充电站的推荐方法、装置、电子设备、存储介质、程序产品、路侧设备、以及云控平台。
背景技术
随着环保和节能呼声的高涨，电动车辆受到人们的关注和青睐，电动汽车的充电站等基础设施也在进一步推广，以便解决电动车辆出行与使用等问题提供了便利。
在现有技术中，通常基于距离指标或者价格指标的推荐策略(如距离最近的推荐策略或者价格最低的推荐策略)为电动车辆推荐充电站。
然而，通过距离指标或者价格指标的推荐策略为电动车辆推荐充电站，可能导致充电动车辆在充电站的分配不合理，造成资源利用率偏低的问题。
发明内容
本申请提供了一种用于提高资源利用率的一种充电站推荐模型的训练方法、充电站的推荐方法、装置、电子设备、存储介质、程序产品、路侧设备、以及云控平台。
根据本申请的第一方面，提供了一种充电站推荐模型的训练方法，包括：
根据获取到的多个样本充电请求，获取所述样本充电请求的车辆相关参数、候选充电站集合；
根据所述车辆相关参数和所述候选充电站集合，确定所述候选充电站集合中各候选充电站的预测充电评价值；
根据所述车辆相关参数、所述候选充电站集合和所述预测充电评价值，对预设强化学习模型框架进行训练，生成充电站推荐模型，所述充电站推荐模型用于为用户推荐充电站。
根据本申请的第二方面，提供了一种充电站的推荐方法，所述方法包括：
获取充电请求，并根据预先训练的充电站推荐模型为所述充电请求推荐充电站，其中，所述充电站推荐模型是基于如第一方面所述的训练方法生成的。
根据本申请的第三方面，提供了一种充电站推荐模型的训练装置，包括：
第一获取单元，用于根据获取到的多个样本充电请求，获取所述样本充电请求的车辆相关参数、候选充电站集合；
确定单元，用于根据所述车辆相关参数和所述候选充电站集合，确定所述候选充电站集合中各候选充电站的预测充电评价值；
训练单元，用于根据所述车辆相关参数、所述候选充电站集合和所述预测充电评价值，对预设强化学习模型框架进行训练，生成充电站推荐模型，所述充电站推荐模型用于为用户推荐充电站。
根据本申请的第四方面，提供了一种充电站的推荐装置，所述装置包括：
第二获取单元，用于获取充电请求；
推荐单元，用于根据预先训练的充电站推荐模型为所述充电请求推荐充电站，其中，所述充电站推荐模型是基于如第一方面所述的训练方法生成的。
根据本申请的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法；
或者，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第二方面所述的方法。
根据本申请的第五方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如第一方面所述的方法；
或者，所述计算机指令用于使所述计算机执行如第二方面所述的方法。
根据本申请的第六方面，提供了一种计算机程序产品，所述程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面或者第二方面所述的方法。
根据本申请的第七方面，提供了一种路侧设备，包括如第五方面所述的电子设备。
根据本申请的第八方面，提供了一种云控平台，包括如第五方面所述的电子设备。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的示意图；
图2是根据本申请第二实施例的示意图；
图3是根据本申请的样本充电请求的示意图
图4是根据本申请第三实施例的示意图；
图5是可以实现本申请实施例的充电站的推荐方法的场景图；
图6是根据本申请第四实施例的示意图；
图7是根据本申请第五实施例的示意图；
图8是根据本申请第六实施例的示意图；
图9是根据本申请第七实施例的示意图；
图10是根据本申请第八实施例的示意图；
图11是用来实现本申请实施例的充电站推荐模型的训练方法和/或充电站的推荐方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请提供一种充电站推荐模型的训练方法，应用于计算机技术和数据处理技术中的人工智能、大数据、智能搜索、以及深度学习技术领域，以达到推荐充电站的准确性和可靠性。
图1是根据本申请第一实施例的示意图，如图1所示，本申请实施例的充电站推荐模型的训练方法可以包括：
S101：根据获取到的多个样本充电请求，获取样本充电请求的车辆相关参数、候选充电站集合。
示例性地，本实施例的执行主体可以为充电站推荐模型的训练装置(下文简称为训练装置)，训练装置可以为服务器(包括本地服务器和云端服务器，服务器可以为云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等)，也可以为计算机，也可以为终端设备，也可以为处理器，也可以为芯片，也可以为路侧设备，等等，本实施例不做限定。
其中，路侧设备例如有计算功能的路侧感知设备、与路侧感知设备相连接的路侧计算设备，在智能交通车路协同的系统架构中，路侧设备包括路侧感知设备和路侧计算设备，路侧感知设备(例如路侧相机)连接到路侧计算设备(例如路侧计算单元RSCU)，路侧计算设备连接到服务器，服务器可以通过各种方式与自动驾驶或辅助驾驶车辆通信；或者，路侧感知设备自身包括计算功能，则路侧感知设备直接连接到服务器。以上连接可以是有线或是无线。
需要说明地是，本实施例对样本充电请求的数量不做限定。例如，样本充电请求的数量可以由训练装置基于需求、历史记录、以及试验等进行设置。
车辆可以为具有充电功能的电动单车，也可以为具有充电功能的电动摩托车，也可以为具有充电功能的电动汽车。
车辆相关参数可以包括：与车辆发起充电请求的位置相关的参数、与车辆发起充电请求的时间相关的参数、以及车辆的速度，等等。
候选充电站集合可以包括：一个或多个候选充电站、每一候选充电站的相关参数。其中，候选充电站的相关参数可以包括：候选充电站的位置相关的参数和候选充电站的价格相关的参数，等等。
在该步骤中，当训练装置获取到样本充电请求时，可以对车辆相关参数和候选充电站集合进行获取。
值得说明地是，在对候选充电站集合进行获取时，可以基于车辆相关参数实现，如基于车辆的位置信息，选择预设范围内的充电站作为候选充电站，并基于候选充电站构建候选充电站集合。
S102：根据车辆相关参数和候选充电站集合，确定候选充电站集合中各候选充电站的预测充电评价值。
示例性地，预测充电评价值可以表征，对候选充电站集合中的候选充电站执行样本充电请求的评价值，如对候选充电站集合中的候选充电站完成样本充电请求的奖励值，或者对候选充电站集合中的候选充电站未完成样本充电请求的惩罚值。
在该步骤中，训练装置通过结合车辆相关参数和候选充电站集合，对预测充电评价值进行确定，可以提高预测充电评价值的准确性和可靠性的技术效果。
S103：根据车辆相关参数、候选充电站集合和预测充电评价值，对预设强化学习模型框架进行训练，生成充电站推荐模型。
其中，充电站推荐模型用于为用户推荐充电站。
在本实施例中，可以理解为基于预设强化学习模型框架和注意力批评家(即注意力奖励机制)生成充电站推荐模型。
基于上述分析可知，本申请实施例提供了一种充电站推荐模型的训练方法，该方法包括：根据获取到的多个样本充电请求，获取样本充电请求的车辆相关参数、候选充电站集合，根据车辆相关参数和候选充电站集合，确定候选充电站集合中各候选充电站的预测充电评价值，根据车辆相关参数、候选充电站集合和预测充电评价值，对预设强化学习模型框架进行训练，生成充电站推荐模型，充电站推荐模型用于为用户推荐充电站，在本实施例中，通过结合车辆相关参数、候选充电站集合、以及预测充电评价值对预设强化学习模型框架进行训练，生成用于为用户推荐充电站的充电站推荐模型，既考虑了车辆，也考虑了候选充电站集合，还考虑了候选充电站集合中的各候选充电站执行样本充电请求时的预测充电评价值，实现了生成的充电站推荐模型的准确性和可靠性，从而实现当基于充电站推荐模型为用户推荐充电站时，实现了基于较为全面的维度为用户推荐充电站，提高了资源利用率，避免了相关技术中推荐充电站不合理的问题，实现了为用户推荐的充电站的可靠性的技术效果。
图2是根据本申请第二实施例的示意图，如图2所示，本申请实施例的充电站推荐模型的训练方法可以包括：
S201：根据获取到的多个样本充电请求，获取样本充电请求的车辆相关参数、候选充电站集合。
示例性地，关于S201地描述可以参见S101，此处不再赘述。
在一些实施例中，车辆相关参数包括：车辆请求充电时的位置信息、车辆请求充电时的时间信息、以及车辆行驶至候选充电站集合中每一候选充电站的时间；候选充电站集合包括：多个候选充电站、每一候选充电站的标识、每一候选充电站的空闲充电位数量、每一候选充电站在预设未来时间段内的充电请求数量、每一候选充电站的充电费用、以及每一充电站的充电功率。
S202：根据车辆相关参数和候选充电站集合，确定候选充电站集合中每一候选充电站从第一充电请求至第二充电请求的充电转移评价值。
其中，样本充电请求中包括第一充电请求和第二充电请求，第一充电请求为样本充电请求中请求时间最早的充电请求，第二充电请求为样本充电请求中请求时间最晚的充电请求，且第一充电请求与第二充电请求之间还可以包括一个或多个充电请求(可以称为第三充电请求)。
例如，结合如图3可知，样本充电请求可以包括：充电请求qt，充电请求qt+1，直至充电请求qt+j。相应地，在如图3所示的样本充电请求中，充电请求qt的请求时间为下午1点钟(即图3中所示的13：00)，充电请求qt+1的请求时间为下午1点过5分(即图3中所示的13：05)，充电请求qt+j的请求时间为下午1点过20分(即图3中所示的13：20)，则qt为第一充电请求，qt+j为第二充电请求，qt+1为第三充电请求。
结合如图3所示的样本充电请求的示意图，该步骤可以理解为：根据第一充电请求qt、第二充电请求qt+j、以及第三充电请求qt+1各自对应的车辆相关参数和候选充电站集合，确定候选充电站集合中每一候选充电站从第一充电请求qt至第二充电请求qt+j的充电转移评价值。
示例性地，可以基于式1计算得到充电转移评价值Rt：t+j，式1：
Figure BDA0002919717660000071
其中，Tt为第一充电请求qt的请求时间，Tt+j为第二充电请求qt+j的请求时间，
Figure BDA0002919717660000072
为第一充电请完成的时间，γ为预设的折扣因子(可以基于需求、历史记录、以及试验等进行设置，0＜γ＜1)，st′为候选充电集合在样本充电请求(包括第一充电请求、第二充电请求、以及第三充电请求)时的属性信息(包括但不限定与每一候选充电站的价格和剩余充电位数量等信息)，ut′为候选充电集合在样本充电请求(包括第一充电请求、第二充电请求、以及第三充电请求)时，每一候选充电站与样本充电请求(包括第一充电请求、第二充电请求、以及第三充电请求)的匹配特征信息。
其中，r(st′，ut′)＝rcwt(st′，ut′)+rcp(st′，ut′)。rcwt(st′，ut′)为充电推荐的充电等待时间的充电转移评价值，rcp(st′，ut′)为充电推荐的充电价格的充电转移评价值。
示例性地，若与第一充电请求对应的车辆为第一车辆，与第二充电请求对应的车辆为第二车辆，第一车辆与候选充电站集合之间的距离为第一距离，第二车辆与候选充电站集合之间的距离为第二距离，第一距离可能与第二距离为不同的距离，则相应地，第一车辆与第二车辆可能具有不同的充电等待时间(CWT)。
同理，第一充电请求与第二充电请求的请求时间不同，针对不同的请求时间，可能对应的充电价格(CP)并不相同。
在本实施例中，通过结合充电等待时间和充电价格两个维度确定充电转移评价值，可以提高充电转移评价值的准确性和可靠性的技术效果。也就是说，通过采用本实施例中的方法生成充电站推荐模型，并当基于充电站推荐模型为用户推荐充电站时，可以减少充电等待时间，也可以节约充电成本，还可以提高对各预设充电站的充电资源的整体利用率的技术效果。
在一些实施例中，以第一充电请求的充电等待时间的充电转移评价值为例，可以基于充电成功与否确定第一充电请求的充电等待时间的充电转移评价值，如：
Figure BDA0002919717660000081
又如，以第一充电请求的充电价格的充电转移评价值为例，可以基于充电成功与否确定第一充电请求的充电价格的充电转移评价值，如：
Figure BDA0002919717660000082
应该理解地是，上述示例中的60和2.8只是用于示范性地说明，在充电失败的情况下，可能分配的值，而不能理解为对充电等待时间的充电转移评价值和/或充电转移评价值的限定。
S203：根据车辆相关参数、候选充电站集合、以及每一候选充电站的充电转移评价值，确定预测充电评价值。
值得说明地是，在本实施例中，通过确定每一候选充电站的充电转移评价值，并集合车辆相关参数、候选充电站集合、以及每一候选充电站的充电转移评价值，对预测充电评价值进行确定，可以提高确定出的预测充电评价值的准确性和可靠性技术效果。
在一些实施例中，S203可以包括：根据车辆相关参数和候选充电站集合，对每一候选充电站的充电转移评价值进行叠加处理，得到预测充电评价值。
值得说明地是，预测充电评价值为从整体上对候选充电站集合中的候选充电站的充电情况(如充电成功或者充电失败)进行的预测，在本实施例中，通过基于各个候选充电站的充电转移评价值进行叠加处理，得到预测充电评价值，可以提高确定出的预测充电评价值的准确性和可靠性的技术效果。
S204：根据车辆相关参数、候选充电站集合和预测充电评价值，对预设强化学习模型框架进行训练，生成充电站推荐模型。
在本实施例中，通过结合预设强化学习模型框架生成充电站推荐模型，若预先对预设强化学习模型框架的四个维度的参数进行定义，且分别为智能体、观察、动作、以及观察转移四个维度的参数，则智能体可以理解为候选充电站集合中的每一候选充电站，观察可以理解为第一充电请求对应的车辆相关参数(如上述分析中的车辆请求充电时的位置信息等)和候选充电站集合(如上述分析中的每一候选充电站的空闲充电位数量等)，动作可以理解为匹配特征信息，观察转移可以理解为除第一充电请求之外的其他充电请求(如第二充电请求和第三充电请求)对应的车辆相关参数(如上述分析中的车辆请求充电时的位置信息等)和候选充电站集合(如上述分析中的每一候选充电站的空闲充电位数量等)。
其中，充电站推荐模型用于为用户推荐充电站。
在一些实施例中，S204可以包括如下步骤：
步骤1：根据车辆相关参数，确定候选充电站集合中每一候选充电站与样本充电请求之间的匹配特征信息。
示例性地，匹配特征信息可以用于表征，样本充电请求与每一候选充电站之间的匹配程度的信息。
例如，根据车辆请求充电时的位置信息、车辆请求充电时的时间信息、以及车辆行驶至候选充电站集合中每一候选充电站的时间，确定样本充电请求与每一候选充电站之间的匹配程度的信息；又如，根据每一候选充电站的空闲充电位数量、每一候选充电站在预设未来时间段内的充电请求数量、每一候选充电站的充电费用、以及每一充电站的充电功率，确定样本充电请求与每一候选充电站之间的匹配程度的信息；又如，根据车辆请求充电时的位置信息、车辆请求充电时的时间信息、车辆行驶至候选充电站集合中每一候选充电站的时间、每一候选充电站的空闲充电位数量、每一候选充电站在预设未来时间段内的充电请求数量、每一候选充电站的充电费用、以及每一充电站的充电功率，确定样本充电请求与每一候选充电站之间的匹配程度的信息，等等，此处不再一一列举。
步骤2：根据车辆相关参数、候选充电站集合、匹配特征信息、以及预测充电评价值，对预设强化学习模型框架进行训练，得到充电站推荐模型。
值得说明地是，样本充电请求可以为用户发起的，用于请求通过候选充电站集合中的某一候选充电站为车辆进行充电的请求，不同的车辆相关参数，可能适用的候选充电站不同，在本实施例中，通过确定匹配特征信息，可以较为准确地确定样本充电请求与候选充电站之间的匹配程度，当结合匹配特征信息对预设强化学习模型框架进行训练时，可以提高充电站推荐模型的可靠性和准确性的技术效果。
在一些实施例中，步骤2可以包括如下子步骤：
子步骤1：根据样本匹配特征信息，确定每一候选充电站的权重。
示例性地，权重可以用于表征样本充电请求与每一候选充电站之间的匹配程度，一般而言，权重越高，则通过该权重对应的候选充电站为车辆充电的可能性越大。
在一些实施例中，可以基于式2确定权重
Figure BDA0002919717660000101
式2：
Figure BDA0002919717660000102
其中，
Figure BDA0002919717660000103
为第i个候选充电站的分值，
Figure BDA0002919717660000104
v为可以预设参数矩阵，vT为预设参数矩阵的转置，tanh为双曲正切函数，Wa为预设学习系数，
Figure BDA0002919717660000105
为车辆相关参数和候选充电站集合(可以理解为上述示例中描述的观察)，
Figure BDA0002919717660000106
为匹配特征信息，
Figure BDA0002919717660000107
为候选充电站集合。
子步骤2：根据车辆相关参数、匹配特征信息、以及权重，确定每一候选充电站作为目标充电站时预设强化学习模型框架的损失信息。
在一些实施例中，子步骤2可以包括：确定在后充电请求以每一候选充电站作为目标充电站对应的累积充电评价值，并根据车辆相关参数、候选充电站集合、匹配特征信息、以及累积充电评价值，确定损失信息。
其中，样本充电请求中包括当前充电请求和在后充电请求，在后充电请求的请求时间在当前充电请求的请求时间之后。
结合上述示例，样本充电请求可以包括第一充电请求、第二充电请求和第三充电请求，若第一充电请求为当前充电请求，则在后充电请求可以包括第二充电请求和第三充电请求。
值得说明地是，在本实施例中，通过确定累计充电评价值，并结合累计充电评价值对损失信息进行确定，可以提高确定出的损失信息的准确性和可靠性的技术效果。
子步骤3：根据损失信息和预测充电评价值对预设强化学习模型框架进行调整，得到充电站推荐模型。
值得说明地是，在本实施例中，通过确定每一候选充电站的权重，并结合权重确定损失信息，且根据损失信息和预测充电评价值对预设强化学习模型框架进行调整，得到充电站推荐模型，相当于从损失信息和预测充电评价值两个维度生成充电站推荐模型，从而可以调高生成充电站推荐模型的准确性和可靠性的技术效果。
在一些实施例中，在子步骤1之后，即在训练装置确定出权重之后，可以确定每一充电站的加权平均值，并通过结合加权平均值的方式对充电站推荐模型进行优化。
例如，训练装置可以根据车辆相关参数、候选充电站集合、匹配特征信息、以及权重，确定每一充电站的加权平均值，并根据加权平均值对充电站推荐模型进行优化。
其中，加权平均值可以用于表征每一预设充电站满足样本充电请求的充电需求的加权平均程度。例如，一般而言，加权平均值越大，则采用该加权平均值对应的充电站为样本充电请求对应的车辆充电的可行性越高。
在一些实施例中，可以基于式3计算加权平均值xt，式3：
Figure BDA0002919717660000111
其中，ReLU为线性整流函数，Wc为预设可学习参数。
在一些实施例中，可以基于式4确定损失信息L(θQ)，式4：
Figure BDA0002919717660000112
其中，
Figure BDA0002919717660000121
为期望函数，
Figure BDA0002919717660000122
为第一充电请求时候选充电站集合的属性信息，
Figure BDA0002919717660000123
为第一充电请求时候选充电站集合的匹配特征信息，
Figure BDA0002919717660000124
为第二充电请求时候选充电站集合的属性信息，D为预设的回放缓存，Qb为注意力批评家函数(Critic,Actor)，yt为累积充电评价值。
在一些实施例中，
Figure BDA0002919717660000125
其中，bi为充电站推荐模型。
值得说明地是，在本实施例中，通过确定加权平均值，可以进一步确定基于每一预设充电站为车辆充电的可行性，从而当结合加权平均值对充电站推荐模型进行优化时，可以进一步提高充电站推荐模型的准确性和可靠性的技术效果。
基于上述示例，若训练装置采用结合加权平均值的方式对充电站推荐模型进行优化，则具体可以包括如下步骤：
步骤1：根据车辆相关参数、候选充电站集合、匹配特征信息、以及加权平均值确定预测充电评价值的梯度信息。
其中，梯度信息可以用于表征，基于预测充电未来收益信息确定出的预测充电评价值的变化信息。
在一些实施例中，可以基于式5确定梯度信息
Figure BDA0002919717660000126
式5：
Figure BDA0002919717660000127
其中，
Figure BDA0002919717660000128
为梯度函数，J为预测充电未来收益信息，
Figure BDA0002919717660000129
为预设可学习参数。
步骤2：根据梯度信息和损失信息对预设强化学习模型框架进行调整，得到充电站推荐模型。
值得说明地是，在本实施例中，通过结合梯度信息和损失信息生成充电站推荐模型，可以提高得到的充电站推荐模型的准确性和可靠性的技术效果。
在一些实施例中，步骤2可以包括：确定满足最小损失信息的梯度信息，并根据最小损失信息、以及满足最小损失信息的梯度信息，对预设强化学习模型框架进行调整，得到充电站推荐模型。
值得说明地是，在本实施例中，充电站推荐模型是基于两个维度的条件生成的，一个维度的条件为损失信息为最小损失信息，另一个维度的条件为梯度信息满足最小损失信息，因此，充电站推荐模型的准确性和可靠性相对较高，当基于充电站推荐模型为用户推荐充电站时，可以提高推荐的准确性和可靠性的技术效果。
图4是根据本申请第三实施例的示意图，如图4所示，本申请实施例的充电站的推荐方法可以包括：
S401：获取充电请求。
示例性地，本实施例的执行主体可以为充电站的推荐装置(下文简称为推荐装置)，推荐装置可以为服务器、(包括本地服务器和云端服务器，服务器可以为云控平台、车路协同管理平台、中心子系统、边缘计算平台、云计算平台等)，也可以为计算机，也可以为终端设备，也可以为处理器，也可以为芯片，也可以为路侧设备，等等，本实施例不做限定。
其中，关于路侧设备地描述可以参数第一实施例，此处不再赘述。
在本实施例中，推荐装置可以通过主动的方式获取充电请求，也可以通过被动的方式获取充电请求。
其中，被动的方式获取充电请求可以理解为：推荐装置接收由其他装置发送的充电请求。例如，推荐装置接收用户基于用户设备发送的充电请求。
其中，推荐装置通过主动的方式获取充电请求可以理解为：推荐装置可以定时或随机地主动获取充电请求。
一个示例中，推荐装置可以基于定位等功能确定预设范围的车辆，并建立与预设范围的车辆之间的通信，且可以通过主动发送询问消息的方式获取充电请求。
另一个示例中，推荐装置可以基于定位等功能确定预设范围的车辆，并建立与预设范围的车辆之间的通信，并基于与预设范围的车辆之间的通信，确定预设范围的车辆的剩余电量，并当预设范围的车辆的剩余电量小于预设电量阈值时，通过主动发送询问消息的方式获取充电请求。
S402：根据预先训练的充电站推荐模型为充电请求推荐充电站。
其中，充电站推荐模型是基于第一实施例或者第二实施例所述的方法生成的。
示例性地，图5是可以实现本申请实施例的充电站的推荐方法的场景图，如图5所示：
车辆501行驶于道路502，车辆501可以定时或不定时的对其剩余的电量进行获取，并当剩余电量小于预设电量阈值，向服务器503发送充电请求。
相应地，服务器503接收由车辆501发送的充电请求，且服务器503中存储有基于第一实施例或者第二实施例所述的方法生成的充电站推荐模型。
服务器503可以基于充电站推荐模型确定为车辆501推荐的充电站，并生成与为车辆501推荐的充电站的推荐信息(如与车辆501之间的距离、充电站的位置信息、以及充电站的价格信息等)，且向车辆501发送推荐信息。
相应地，车辆501接收由服务器503发送的推荐信息，并可以基于推荐信息行驶至服务器503推荐的充电站进行充电。
值得说明地是，上述示例只是用于示范性地说明，本实施例可能适用的应用场景，而不能理解为对应用场景的限定。
例如，在另一些实施例中，也可以由车辆501的驾驶员通过车辆501中设置的车载终端(或者通过用户设备等)向服务器503发送充电请求，等等，此处不再一一列举。
值得说明地是，在本实施例中，通过采用第一实施例或者第二实施例所述的方式生成的充电站推荐模型为充电请求推荐充电站，可以避免相关技术中，基于距离指标或者价格指标的推荐策略为电动车辆推荐充电站，可能导致充电动车辆在充电站的分配不合理，造成资源利用率偏低的问题，提高了推荐的准确性和可靠性，且提高了资源的充分利用的技术效果。
在一些实施例中，推荐装置可以基于定位等功能确定预设范围的车辆，并建立与预设范围的车辆之间的通信，并基于与预设范围的车辆之间的通信，确定预设范围的车辆的剩余电量，并当预设范围的车辆的剩余电量小于预设电量阈值时，主动基于充电站推荐模型为充电请求推荐充电站。
图6是根据本申请第四实施例的示意图，如图6所示，本申请实施例的充电站的推荐方法可以包括：
S601：获取充电请求。
示例性地，关于S601地描述可以参见S401，此处不再赘述。
S602：获取与充电请求的车辆相关参数、候选充电站集合。
示例性地，关于车辆相关参数和候选充电集合地描述，可以参见上述实施例的描述，此处不再赘述。
值得说明地是，在推荐装置对候选充电站集合进行获取时，可以基于车辆相关参数实现，如基于车辆的位置信息，选择预设范围内的充电站作为候选充电站，并基于候选充电站构建候选充电站集合。
S603：将车辆相关参数和候选充电站集合输入至充电站推荐模型，预测并为充电请求推荐充电站。
基于上述分析可知，通过结合充电站推荐模型为车辆推荐充电站，可以提高资源地合理利用，且可以提高推荐的准确性和可靠性的技术效果。
在一些实施例中，S603可以包括如下步骤：
步骤1：根据充电站推荐模型确定候选充电站集合中每一候选充电站与充电请求之间的匹配特征信息。
其中，匹配特征信息用于表征每一候选充电站与充电请求之间的匹配程度。
示例性地，关于匹配特征信息的描述可以参见上述实施例地描述，此处不再赘述。
步骤2：基于匹配特征信息确定与充电请求的匹配程度最大的充电站，作为并为充电请求推荐充电站。
值得说明地是，在本实施例中，通过将匹配程度最大的充电站确定为为充电请求推荐的充电站，可以实现推荐的可靠性和准确性的技术效果。
图7是根据本申请第五实施例的示意图，如图7所示，本申请实施例的充电站推荐模型的训练装置700，包括：
第一获取单元701，用于根据获取到的多个样本充电请求，获取样本充电请求的车辆相关参数、候选充电站集合。
确定单元702，用于根据车辆相关参数和候选充电站集合，确定候选充电站集合中各候选充电站的预测充电评价值。
训练单元703，用于根据车辆相关参数、候选充电站集合和预测充电评价值，对预设强化学习模型框架进行训练，生成充电站推荐模型，充电站推荐模型用于为用户推荐充电站。
图8是根据本申请第六实施例的示意图，如图8所示，本申请实施例的充电站推荐模型的训练装置800，包括：
第一获取单元801，用于根据获取到的多个样本充电请求，获取样本充电请求的车辆相关参数、候选充电站集合。
确定单元802，用于根据车辆相关参数和候选充电站集合，确定候选充电站集合中各候选充电站的预测充电评价值。
结合图8可知，在一些实施例中，样本充电请求包括第一充电请求和第二充电请求，第一充电请求为样本充电请求中请求时间最早的充电请求，第二充电请求为样本充电请求中请求时间最晚的充电请求，确定单元802，包括：
第二确定子单元8021，用于根据车辆相关参数和候选充电站集合，确定候选充电站集合中每一候选充电站从第一充电请求至第二充电请求的充电转移评价值。
第三确定子单元8022，用于根据车辆相关参数、候选充电站集合、以及每一候选充电站的充电转移评价值，确定预测充电评价值。
在一些实施例中，第三确定子单元8022用于，根据车辆相关参数和候选充电站集合，对每一候选充电站的充电转移评价值进行叠加处理，得到预测充电评价值。
训练单元803，用于根据车辆相关参数、候选充电站集合和预测充电评价值，对预设强化学习模型框架进行训练，生成充电站推荐模型，充电站推荐模型用于为用户推荐充电站。
如图8所示，在一些实施例中，训练单元803可以包括：
第一确定子单元8031，用于根据车辆相关参数，确定候选充电站集合中每一候选充电站与所述样本充电请求之间的匹配特征信息。
训练子单元8032，用于根据车辆相关参数、候选充电站集合、匹配特征信息、以及预测充电评价值，对预设强化学习模型框架进行训练，得到充电站推荐模型。
在一些实施例中，训练子单元8032可以包括：
第一确定模块，用于根据样本匹配特征信息，确定每一候选充电站的权重，并根据车辆相关参数、匹配特征信息、以及权重，确定每一候选充电站作为目标充电站时预设强化学习模型框架的损失信息。
调整模块，用于根据损失信息和预测充电评价值对预设强化学习模型框架进行调整，得到充电站推荐模型。
在一些实施例中，样本充电请求中包括当前充电请求和在后充电请求，在后充电请求的请求时间在当前充电请求的请求时间之后，第一确定模块用于，确定在后充电请求以每一所述候选充电站作为目标充电站对应的累积充电评价值，并根据车辆相关参数、候选充电站集合、匹配特征信息、以及累积充电评价值，确定损失信息。
在一些实施例中，训练子单元8032还包括：
第二确定模块，用于根据车辆相关参数、候选充电站集合、匹配特征信息、以及权重，确定每一充电站的加权平均值。
调整模块，用于根据加权平均值对充电站推荐模型进行优化。
在一些实施例中，调整模块用于，根据车辆相关参数、候选充电站集合、匹配特征信息、以及加权平均值确定预测充电评价值的梯度信息，并根据梯度信息和损失信息对预设强化学习模型框架进行调整，得到充电站推荐模型。
在一些实施例中，调整模块用于，确定满足最小损失信息的梯度信息，并根据最小损失信息、以及满足最小损失信息的梯度信息，对预设强化学习模型框架进行调整，得到充电站推荐模型。
图9是根据本申请第七实施例的示意图，如图9所示，本申请实施例的充电站的推荐装置900，包括：
第二获取单元901，用于获取充电请求。
推荐单元902，用于根据预先训练的充电站推荐模型为充电请求推荐充电站。
其中，充电站推荐模型是基于第一实施例或者第二实施例所述的训练方法生成的。
图10是根据本申请第八实施例的示意图，如图10所示，本申请实施例的充电站的推荐装置1000，包括：
第二获取单元1001，用于获取充电请求，并获取与充电请求的车辆相关参数、候选充电站集合。
输入单元1002，用于将车辆相关参数和候选充电站集合输入至充电站推荐模型。
其中，充电站推荐模型是基于第一实施例或者第二实施例所述的训练方法生成的。
预测单元1003，用于预测得到为充电请求推荐的充电站。
推荐单元1004用于，为充电请求推荐预测得到的充电站。
结合图10可知，在一些实施例中，预测单元1003，包括：
第四确定子单元10031，用于根据充电站推荐模型确定候选充电站集合中每一候选充电站与充电请求之间的匹配特征信息。
其中，匹配特征信息用于表征每一候选充电站与充电请求之间的匹配程度。
第五确定子单元10032，用于基于匹配特征信息确定匹配程度最大的充电站，作为并为充电请求推荐充电站。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
根据本申请的实施例，本申请还提供了一种计算机程序产品，程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图11示出了可以用来实施本申请的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图11所示，电子设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如充电站推荐模型的训练方法和/或充电站的推荐方法。例如，在一些实施例中，充电站推荐模型的训练方法和/或充电站的推荐方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的充电站推荐模型的训练方法和/或充电站的推荐方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行充电站推荐模型的训练方法和/或充电站的推荐方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本申请实施例的另一个方面，本申请实施例还提供了一种路侧设备，路侧设备包括上述实施例所述的电子设备。
根据本申请实施例的另一个方面，本申请实施例还提供了一种云控平台，云控平台包括如上述实施例所述的电子设备。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (29)

1.一种充电站推荐模型的训练方法，包括：
根据获取到的多个样本充电请求，获取所述样本充电请求的车辆相关参数、候选充电站集合；
根据所述车辆相关参数和所述候选充电站集合，确定所述候选充电站集合中各候选充电站的预测充电评价值；
根据所述车辆相关参数、所述候选充电站集合和所述预测充电评价值，对预设强化学习模型框架进行训练，生成充电站推荐模型，所述充电站推荐模型用于为用户推荐充电站。
2.根据权利要求1所述的方法，其中，根据所述车辆相关参数、所述候选充电站集合和所述预测充电评价值，对预设强化学习模型框架进行训练，生成充电站推荐模型，包括：
根据所述车辆相关参数，确定所述候选充电站集合中每一候选充电站与所述样本充电请求之间的匹配特征信息；
根据所述车辆相关参数、所述候选充电站集合、所述匹配特征信息、以及所述预测充电评价值，对所述预设强化学习模型框架进行训练，得到所述充电站推荐模型。
3.根据权利要求2所述的方法，其中，根据所述车辆相关参数、所述候选充电站集合、所述匹配特征信息、以及所述预测充电评价值，对所述预设强化学习模型框架进行训练，得到所述充电站推荐模型，包括：
根据所述样本匹配特征信息，确定每一所述候选充电站的权重；
根据所述车辆相关参数、所述匹配特征信息、以及所述权重，确定每一所述候选充电站作为目标充电站时所述预设强化学习模型框架的损失信息；
根据所述损失信息和所述预测充电评价值对所述预设强化学习模型框架进行调整，得到所述充电站推荐模型。
4.根据权利要求3所述的方法，其中，所述样本充电请求中包括当前充电请求和在后充电请求，所述在后充电请求的请求时间在所述当前充电请求的请求时间之后；根据所述车辆相关参数、所述匹配特征信息、以及所述权重，确定以每一所述候选充电站作为目标充电站时所述预设强化学习模型框架的损失信息，包括：
确定所述在后充电请求以每一所述候选充电站作为所述目标充电站对应的累积充电评价值；
根据所述车辆相关参数、所述候选充电站集合、所述匹配特征信息、以及所述累积充电评价值，确定所述损失信息。
5.根据权利要求4所述的方法，在根据所述匹配特征信息确定每一所述候选充电站的权重之后，所述方法还包括：
根据所述车辆相关参数、所述候选充电站集合、所述匹配特征信息、以及所述权重，确定每一所述充电站的加权平均值；
根据所述加权平均值对所述充电站推荐模型进行优化。
6.根据权利要求5所述的方法，其中，根据所述加权平均值对所述充电站推荐模型进行优化，包括：
根据所述车辆相关参数、所述候选充电站集合、所述匹配特征信息、以及所述加权平均值确定所述预测充电评价值的梯度信息；
根据所述梯度信息和所述损失信息对所述预设强化学习模型框架进行调整，得到所述充电站推荐模型。
7.根据权利要求6所述的方法，其中，根据所述梯度信息和所述损失信息对所述预设强化学习模型框架进行调整，得到所述充电站推荐模型，包括：
确定满足最小损失信息的梯度信息，并根据所述最小损失信息、以及所述满足最小损失信息的梯度信息，对所述预设强化学习模型框架进行调整，得到所述充电站推荐模型。
8.根据权利要求1至7中任一项所述的方法，其中，所述样本充电请求包括第一充电请求和第二充电请求，所述第一充电请求为所述样本充电请求中请求时间最早的充电请求，所述第二充电请求为所述样本充电请求中请求时间最晚的充电请求；根据所述车辆相关参数和所述候选充电站集合，确定所述候选充电站集合中各候选充电站的预测充电评价值，包括：
根据所述车辆相关参数和所述候选充电站集合，确定所述候选充电站集合中每一候选充电站从所述第一充电请求至所述第二充电请求的充电转移评价值；
根据所述车辆相关参数、所述候选充电站集合、以及每一所述候选充电站的充电转移评价值，确定所述预测充电评价值。
9.根据权利要求8所述的方法，其中，根据所述车辆相关参数、所述候选充电站集合、以及每一所述候选充电站的充电转移评价值，确定所述预测充电评价值，包括：
根据所述车辆相关参数和所述候选充电站集合，对每一所述候选充电站的充电转移评价值进行叠加处理，得到所述预测充电评价值。
10.一种充电站的推荐方法，所述方法包括：
获取充电请求，并根据预先训练的充电站推荐模型为所述充电请求推荐充电站，其中，所述充电站推荐模型是基于权利要求1至9中任一项所述的训练方法生成的。
11.根据权利要求10所述的方法，其中，获取充电请求，并根据预先训练的充电站推荐模型为所述充电请求推荐充电站，包括：
获取与所述充电请求的车辆相关参数、候选充电站集合；
将所述车辆相关参数和所述候选充电站集合输入至所述充电站推荐模型，预测得到并为所述充电请求推荐充电站。
12.根据权利要求11所述的方法，其中，将所述车辆相关参数和所述候选充电站集合输入至所述充电站推荐模型，预测得到并为所述充电请求推荐充电站，包括：
根据所述充电站推荐模型确定所述候选充电站集合中每一候选充电站与所述充电请求之间的匹配特征信息，所述匹配特征信息用于表征每一所述候选充电站与所述充电请求之间的匹配程度；
基于所述匹配特征信息确定匹配程度最大的充电站，作为并为所述充电请求推荐充电站。
13.一种充电站推荐模型的训练装置，包括：
第一获取单元，用于根据获取到的多个样本充电请求，获取所述样本充电请求的车辆相关参数、候选充电站集合；
确定单元，用于根据所述车辆相关参数和所述候选充电站集合，确定所述候选充电站集合中各候选充电站的预测充电评价值；
训练单元，用于根据所述车辆相关参数、所述候选充电站集合和所述预测充电评价值，对预设强化学习模型框架进行训练，生成充电站推荐模型，所述充电站推荐模型用于为用户推荐充电站。
14.根据权利要求13所述的装置，其中，所述训练单元，包括：
第一确定子单元，用于根据所述车辆相关参数，确定所述候选充电站集合中每一候选充电站与所述样本充电请求之间的匹配特征信息；
训练子单元，用于根据所述车辆相关参数、所述候选充电站集合、所述匹配特征信息、以及所述预测充电评价值，对所述预设强化学习模型框架进行训练，得到所述充电站推荐模型。
15.根据权利要求14所述的装置，其中，所述训练子单元，包括：
第一确定模块，用于根据所述样本匹配特征信息，确定每一所述候选充电站的权重，并根据所述车辆相关参数、所述匹配特征信息、以及所述权重，确定每一所述候选充电站作为目标充电站时所述预设强化学习模型框架的损失信息；
调整模块，用于根据所述损失信息和所述预测充电评价值对所述预设强化学习模型框架进行调整，得到所述充电站推荐模型。
16.根据权利要求15所述的装置，其中，所述样本充电请求中包括当前充电请求和在后充电请求，所述在后充电请求的请求时间在所述当前充电请求的请求时间之后；所述第一确定模块用于，确定所述在后充电请求以每一所述候选充电站作为所述目标充电站对应的累积充电评价值，并根据所述车辆相关参数、所述候选充电站集合、所述匹配特征信息、以及所述累积充电评价值，确定所述损失信息。
17.根据权利要求16所述的装置，所述训练子单元还包括：
第二确定模块，用于根据所述车辆相关参数、所述候选充电站集合、所述匹配特征信息、以及所述权重，确定每一所述充电站的加权平均值；
所述调整模块，用于根据所述加权平均值对所述充电站推荐模型进行优化。
18.根据权利要求17所述的装置，其中，所述调整模块用于，根据所述车辆相关参数、所述候选充电站集合、所述匹配特征信息、以及所述加权平均值确定所述预测充电评价值的梯度信息，并根据所述梯度信息和所述损失信息对所述预设强化学习模型框架进行调整，得到所述充电站推荐模型。
19.根据权利要求18所述的装置，其中，所述调整模块用于，确定满足最小损失信息的梯度信息，并根据所述最小损失信息、以及所述满足最小损失信息的梯度信息，对所述预设强化学习模型框架进行调整，得到所述充电站推荐模型。
20.根据权利要求13至19中任一项所述的装置，其中，所述样本充电请求包括第一充电请求和第二充电请求，所述第一充电请求为所述样本充电请求中请求时间最早的充电请求，所述第二充电请求为所述样本充电请求中请求时间最晚的充电请求；所述确定单元，包括：
第二确定子单元，用于根据所述车辆相关参数和所述候选充电站集合，确定所述候选充电站集合中每一候选充电站从所述第一充电请求至所述第二充电请求的充电转移评价值；
第三确定子单元，用于根据所述车辆相关参数、所述候选充电站集合、以及每一所述候选充电站的充电转移评价值，确定所述预测充电评价值。
21.根据权利要求20所述的装置，其中，所述第三确定子单元用于，根据所述车辆相关参数和所述候选充电站集合，对每一所述候选充电站的充电转移评价值进行叠加处理，得到所述预测充电评价值。
22.一种充电站的推荐装置，所述装置包括：
第二获取单元，用于获取充电请求；
推荐单元，用于根据预先训练的充电站推荐模型为所述充电请求推荐充电站，其中，所述充电站推荐模型是基于权利要求1至9中任一项所述的训练方法生成的。
23.根据权利要求22所述的装置，还包括：
所述第二获取单元用于，获取与所述充电请求的车辆相关参数、候选充电站集合；
输入单元，用于将所述车辆相关参数和所述候选充电站集合输入至所述充电站推荐模型；
预测单元，用于预测得到为所述充电请求推荐的充电站；
所述推荐单元用于，为所述充电请求推荐预测得到的充电站。
24.根据权利要求23所述的装置，其中，所述预测单元包括：
第四确定子单元，用于根据所述充电站推荐模型确定所述候选充电站集合中每一候选充电站与所述充电请求之间的匹配特征信息，所述匹配特征信息用于表征每一所述候选充电站与所述充电请求之间的匹配程度；
第五确定子单元，用于基于所述匹配特征信息确定匹配程度最大的充电站，作为并为所述充电请求推荐充电站。
25.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法；
或者，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求10-12中任一项所述的方法。
26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法；
或者，所述计算机指令用于使所述计算机执行权利要求10-12中任一项所述的方法。
27.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法；
或者，所述计算机程序在被处理器执行时实现根据权利要求10-12中任一项所述的方法。
28.一种路侧设备，包括如权利要求25所述的电子设备。
29.一种云控平台，包括如权利要求25所述的电子设备。
CN202110113001.7A 2021-01-27 2021-01-27 充电站推荐模型的训练方法、装置、及充电站的推荐方法 Active CN112819576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110113001.7A CN112819576B (zh) 2021-01-27 2021-01-27 充电站推荐模型的训练方法、装置、及充电站的推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110113001.7A CN112819576B (zh) 2021-01-27 2021-01-27 充电站推荐模型的训练方法、装置、及充电站的推荐方法

Publications (2)

Publication Number Publication Date
CN112819576A true CN112819576A (zh) 2021-05-18
CN112819576B CN112819576B (zh) 2022-07-08

Family

ID=75859759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110113001.7A Active CN112819576B (zh) 2021-01-27 2021-01-27 充电站推荐模型的训练方法、装置、及充电站的推荐方法

Country Status (1)

Country Link
CN (1) CN112819576B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379139A (zh) * 2021-06-22 2021-09-10 阳光电源股份有限公司 一种充电站管理方法及其应用装置
CN113505151A (zh) * 2021-07-21 2021-10-15 车主邦（北京）科技有限公司 一种节能减排的充电站显示方法及电子设备
CN113569133A (zh) * 2021-06-11 2021-10-29 车主邦（北京）科技有限公司 一种信息推荐方法及装置
CN113705893A (zh) * 2021-08-30 2021-11-26 平安科技（深圳）有限公司 充电调度管理方法、装置、计算机设备及可读存储介质
CN114148202A (zh) * 2021-12-15 2022-03-08 华人运通(江苏)技术有限公司 车辆与充电桩的充电匹配性识别方法、装置和车辆
CN114202131A (zh) * 2022-02-17 2022-03-18 北京公共交通控股（集团）有限公司 一种纯电动公交车充电等候时长的预测方法及装置
WO2023087108A1 (en) * 2021-11-17 2023-05-25 Datametrex Electric Vehicle Solutions Inc. Systems, methods, and devices for determining optimal electric car charging stations
CN117114156A (zh) * 2023-09-20 2023-11-24 深圳市大拿能源科技有限公司 充电站匹配方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105811513A (zh) * 2016-04-28 2016-07-27 百度在线网络技术（北京）有限公司 无人驾驶的用电汽车、充电桩及用于其中的充电方法
WO2017013754A1 (ja) * 2015-07-22 2017-01-26 三菱電機株式会社 電力制御装置、電力制御方法、及び、プログラム
CN106394280A (zh) * 2016-09-07 2017-02-15 福建艾思科新能源科技有限公司 一种新能源汽车的充电方法
CN107150603A (zh) * 2017-04-28 2017-09-12 深圳充电网科技有限公司 一种提高充电桩与电动车的匹配度的方法和装置
CN109858659A (zh) * 2017-11-30 2019-06-07 北京嘀嘀无限科技发展有限公司 充电桩站点推荐方法、装置、服务器和可读存储介质
CN110549896A (zh) * 2019-08-28 2019-12-10 哈尔滨工程大学 一种基于强化学习的充电站选择方法
US20190385042A1 (en) * 2019-07-26 2019-12-19 Lg Electronics Inc. Method, apparatus and system for recommending location of robot charging station
CN111523722A (zh) * 2020-04-20 2020-08-11 武汉大学 一种基于深度强化学习的智能充电站优化选择系统
WO2020173584A1 (en) * 2019-02-28 2020-09-03 Bayerische Motoren Werke Aktiengesellschaft Method and system to optimize distributed charging station efficiency and user experience
US20200333752A1 (en) * 2019-04-16 2020-10-22 Robert Bosch Gmbh Configuring a system which interacts with an environment
CN111934335A (zh) * 2020-08-18 2020-11-13 华北电力大学 一种基于深度强化学习的集群电动汽车充电行为优化方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017013754A1 (ja) * 2015-07-22 2017-01-26 三菱電機株式会社 電力制御装置、電力制御方法、及び、プログラム
CN105811513A (zh) * 2016-04-28 2016-07-27 百度在线网络技术（北京）有限公司 无人驾驶的用电汽车、充电桩及用于其中的充电方法
CN106394280A (zh) * 2016-09-07 2017-02-15 福建艾思科新能源科技有限公司 一种新能源汽车的充电方法
CN107150603A (zh) * 2017-04-28 2017-09-12 深圳充电网科技有限公司 一种提高充电桩与电动车的匹配度的方法和装置
CN109858659A (zh) * 2017-11-30 2019-06-07 北京嘀嘀无限科技发展有限公司 充电桩站点推荐方法、装置、服务器和可读存储介质
WO2020173584A1 (en) * 2019-02-28 2020-09-03 Bayerische Motoren Werke Aktiengesellschaft Method and system to optimize distributed charging station efficiency and user experience
US20200333752A1 (en) * 2019-04-16 2020-10-22 Robert Bosch Gmbh Configuring a system which interacts with an environment
US20190385042A1 (en) * 2019-07-26 2019-12-19 Lg Electronics Inc. Method, apparatus and system for recommending location of robot charging station
CN110549896A (zh) * 2019-08-28 2019-12-10 哈尔滨工程大学 一种基于强化学习的充电站选择方法
CN111523722A (zh) * 2020-04-20 2020-08-11 武汉大学 一种基于深度强化学习的智能充电站优化选择系统
CN111934335A (zh) * 2020-08-18 2020-11-13 华北电力大学 一种基于深度强化学习的集群电动汽车充电行为优化方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569133A (zh) * 2021-06-11 2021-10-29 车主邦（北京）科技有限公司 一种信息推荐方法及装置
CN113379139A (zh) * 2021-06-22 2021-09-10 阳光电源股份有限公司 一种充电站管理方法及其应用装置
CN113505151A (zh) * 2021-07-21 2021-10-15 车主邦（北京）科技有限公司 一种节能减排的充电站显示方法及电子设备
CN113705893A (zh) * 2021-08-30 2021-11-26 平安科技（深圳）有限公司 充电调度管理方法、装置、计算机设备及可读存储介质
CN113705893B (zh) * 2021-08-30 2024-05-28 平安科技（深圳）有限公司 充电调度管理方法、装置、计算机设备及可读存储介质
WO2023087108A1 (en) * 2021-11-17 2023-05-25 Datametrex Electric Vehicle Solutions Inc. Systems, methods, and devices for determining optimal electric car charging stations
CN114148202A (zh) * 2021-12-15 2022-03-08 华人运通(江苏)技术有限公司 车辆与充电桩的充电匹配性识别方法、装置和车辆
CN114148202B (zh) * 2021-12-15 2023-10-17 华人运通(江苏)技术有限公司 车辆与充电桩的充电匹配性识别方法、装置和车辆
CN114202131A (zh) * 2022-02-17 2022-03-18 北京公共交通控股（集团）有限公司 一种纯电动公交车充电等候时长的预测方法及装置
CN114202131B (zh) * 2022-02-17 2022-05-24 北京公共交通控股（集团）有限公司 一种纯电动公交车充电等候时长的预测方法及装置
CN117114156A (zh) * 2023-09-20 2023-11-24 深圳市大拿能源科技有限公司 充电站匹配方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112819576B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN112819576B (zh) 充电站推荐模型的训练方法、装置、及充电站的推荐方法
CN111832788B (zh) 一种服务信息生成的方法、装置、计算机设备及存储介质
US20230243661A1 (en) Navigation path planning method and apparatus, device, and storage medium
CN110782301A (zh) 一种拼单方法、装置、电子设备及计算机可读存储介质
CN109308538B (zh) 成交转化率预测方法及装置
US20220101199A1 (en) Point-of-interest recommendation
US20210383279A1 (en) Intelligent recommendation method and apparatus, model training method and apparatus, electronic device, and storage medium
CN115221795A (zh) 容量预测模型的训练方法、预测方法、装置、设备及介质
CN111859172B (zh) 信息推送方法、装置、电子设备和计算机可读存储介质
CN112561285A (zh) 网点的推荐方法、装置、电子设备及计算机可读存储介质
US11790289B2 (en) Systems and methods for managing dynamic transportation networks using simulated future scenarios
US20240169462A1 (en) Online ride-hailing information processing method, device and computer storage medium
CN112819215B (zh) 推荐策略训练方法、装置、电子设备及可读存储介质
US20220327650A1 (en) Transportation bubbling at a ride-hailing platform and machine learning
US11904717B2 (en) Intelligent preconditioning for high voltage electric vehicle batteries
US20230229913A1 (en) Method and Apparatus for Training Information Adjustment Model of Charging Station, and Storage Medium
CN117193980A (zh) 任务剩余时长的计算方法和装置
CN111798283A (zh) 订单派发方法、装置、电子设备及计算机可读存储介质
CN114756774A (zh) 出行方案推荐、模型训练方法、装置、设备以及存储介质
CN114051057A (zh) 云设备排队时长的确定方法、装置、电子设备和介质
CN111523802B (zh) 送达时间应答方法、装置、设备及介质
CN111260383A (zh) 注册概率预估方法及装置、概率预估模型构建方法及装置
CN115577980B (zh) 电力设备调控方法、装置、电子设备和介质
US20240208355A1 (en) Information processing method
CN115907491A (zh) 充电策略确定方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant