CN113298445A - 一种模型训练和调度无人设备的方法及装置 - Google Patents

一种模型训练和调度无人设备的方法及装置 Download PDF

Info

Publication number
CN113298445A
CN113298445A CN202110829449.9A CN202110829449A CN113298445A CN 113298445 A CN113298445 A CN 113298445A CN 202110829449 A CN202110829449 A CN 202110829449A CN 113298445 A CN113298445 A CN 113298445A
Authority
CN
China
Prior art keywords
machine learning
learning model
scheduling
state
scheduling strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110829449.9A
Other languages
English (en)
Other versions
CN113298445B (zh
Inventor
刘欣
姜媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202110829449.9A priority Critical patent/CN113298445B/zh
Publication of CN113298445A publication Critical patent/CN113298445A/zh
Application granted granted Critical
Publication of CN113298445B publication Critical patent/CN113298445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635—Processing of requisition or of purchase orders

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种模型训练和调度无人设备的方法及装置，本发明实施例以所有无人设备的使用总成本最小化为训练目标，对第一机器学习模型进行训练，可以使训练后的第一机器学习模型输出合适的调度策略，采用该调度策略调度无人设备时，既可以满足各待分配订单对应的配送需求，又可以降低无人设备的使用成本，同时为了提高第一机器学习模型的训练效率，本发明实施例还通过第二机器学习模型输出评价值，用于对训练过程中的第一机器学习模型输出的调度策略进行评价，在训练第一机器学习模型时，以所有无人设备的使用总成本最小化、评价值最大化为训练目标调整第一机器学习模型的模型参数，可加速第一机器学习模型的收敛速度。

Description

一种模型训练和调度无人设备的方法及装置
技术领域
本发明涉及自动驾驶技术领域，尤其涉及一种模型训练和调度无人设备的方法及装置。
背景技术
随着电子商务技术的广泛应用，线下物流技术也得到了长足的发展，目前，使用无人设备进行线下的配送成为了一种趋势。
在现有技术中，使用无人设备进行线下配送时，通常考虑的是使用全部的无人设备进行配送时，应该如何调度各无人设备，即，对于一个无人设备来说，该无人设备应该执行哪些配送任务，执行各配送任务的顺序是什么，如何规划执行各配送任务的路径。
但是，由于用户在不同的时间对配送的需求并不相同，例如，在用餐高峰时段对配送量的需求较大，在非用餐高峰时段对配送量需求较小，因此，如何在降低无人设备的使用成本的同时，满足用户的配送需求，成为一个亟待解决的问题。
发明内容
本发明实施例提供一种模型训练和调度无人设备的方法及装置，以部分解决上述现有技术存在的问题。
本发明实施例采用下述技术方案：
本发明提供的一种模型训练的方法，包括：
确定指定时刻的待分配订单以及所述指定时刻的可用无人设备，作为所述指定时刻的状态；
将所述指定时刻的状态输入第一机器学习模型，得到所述第一机器学习模型输出的在所述指定时刻的状态下调度各可用无人设备的调度策略；并确定在所述调度策略的条件下，所有无人设备的使用总成本；
根据所述调度策略，确定所述指定时刻的下一时刻的待分配订单以及所述下一时刻的可用无人设备，作为所述下一时刻的状态；
将所述下一时刻的状态输入第二机器学习模型，得到所述第二机器学习模型输出的对所述调度策略的评价值；
以所述使用总成本最小化、所述评价值最大化为训练目标，对所述第一机器学习模型进行训练。
可选地，将所述下一时刻的状态输入第二机器学习模型，具体包括：
根据所述下一时刻的状态，确定所述调度策略对应的奖励；
将所述下一时刻的状态以及所述调度策略对应的奖励输入第二机器学习模型。
可选地，得到所述第二机器学习模型输出的对所述调度策略的评价值，具体包括：
通过所述第二机器学习模型，根据所述下一时刻的状态以及所述调度策略对应的奖励，预估在所述指定时刻的状态下所能达到的所有无人设备的最小使用总成本；
根据所述最小使用总成本和所述调度策略的条件下所有无人设备的使用总成本，确定对所述调度策略的评价值。
可选地，根据所述最小使用总成本和所述调度策略的条件下所有无人设备的使用总成本，确定对所述调度策略的评价值，具体包括：
确定所述调度策略的条件下所有无人设备的使用总成本与所述最小使用总成本的差值；
根据所述差值，确定所述调度策略的评价值，其中，所述评价值与所述差值负相关。
可选地，以所述使用总成本最小化、所述评价值最大化为训练目标，对所述第一机器学习模型进行训练，具体包括：
根据所述调度策略的条件下所有无人设备的使用总成本，确定所述调度策略的条件下所有无人设备的使用总成本的梯度；
根据所述梯度和所述差值，以所述使用总成本最小化、所述评价值最大化为训练目标，对所述第一机器学习模型中的模型参数进行调整。
可选地，所述第一机器学习模型包括actor网络；
所述第二机器学习模型包括critic网络。
本发明提供的一种调度无人设备的方法，所述方法包括：
确定当前时刻的待分配订单以及当前时刻的可用无人设备，作为当前时刻的状态；
将所述当前时刻的状态输入第一机器学习模型，得到所述第一机器学习模型输出的调度策略；其中，所述第一机器学习模型是采用如上所述的模型训练的方法训练得到的；
通过所述调度策略对各可用无人设备进行调度。
本发明提供的一种模型训练的装置，所述装置包括：
确定模块，用于确定指定时刻的待分配订单以及所述指定时刻的可用无人设备，作为所述指定时刻的状态；
输入模块，用于将所述指定时刻的状态输入第一机器学习模型，得到所述第一机器学习模型输出的在所述指定时刻的状态下调度各可用无人设备的调度策略；并确定在所述调度策略的条件下，所有无人设备的使用总成本；
仿真模块，用于根据所述调度策略，确定所述指定时刻的下一时刻的待分配订单以及所述下一时刻的可用无人设备，作为所述下一时刻的状态；
评价模块，用于将所述下一时刻的状态输入第二机器学习模型，得到所述第二机器学习模型输出的对所述调度策略的评价值；
训练模块，用于以所述使用总成本最小化、所述评价值最大化为训练目标，对所述第一机器学习模型进行训练。
本发明提供的一种调度无人设备的装置，所述装置包括：
确定模块，用于确定当前时刻的待分配订单以及当前时刻的可用无人设备，作为当前时刻的状态；
输入模块，用于将所述当前时刻的状态输入第一机器学习模型，得到所述第一机器学习模型输出的调度策略；其中，所述第一机器学习模型是采用如上所述的模型训练的方法训练得到的；
调度模块，用于通过所述调度策略对各可用无人设备进行调度。
本发明提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的模型训练的方法或调度无人设备的方法。
本发明提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的模型训练的方法或调度无人设备的方法。
本发明实施例采用的上述至少一个技术方案能够达到以下有益效果：
本发明实施例以所有无人设备的使用总成本最小化为训练目标，对第一机器学习模型进行训练，可以使训练后的第一机器学习模型输出合适的调度策略，采用该调度策略调度无人设备时，既可以满足各待分配订单对应的配送需求，又可以降低无人设备的使用成本，同时为了提高第一机器学习模型的训练效率，本发明实施例还通过第二机器学习模型输出评价值，用于对训练过程中的第一机器学习模型输出的调度策略进行评价，在训练第一机器学习模型时，以所有无人设备的使用总成本最小化、评价值最大化为训练目标调整第一机器学习模型的模型参数，可加速第一机器学习模型的收敛速度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的模型训练的方法示意图；
图2为本发明实施例提供的一种模型训练的装置结构示意图；
图3为本发明实施例提供的一种调度无人设备的装置结构示意图；
图4为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下结合附图，详细说明本发明各实施例提供的技术方案。
图1为本发明实施例提供的模型训练的方法示意图，包括：
S100：确定指定时刻的待分配订单以及所述指定时刻的可用无人设备，作为所述指定时刻的状态。
为了在有限的无人设备的条件下，确定出满足当前配送量需求的无人设备调度策略，并且尽量降低各无人设备的使用总成本，本发明实施例中采用机器学习模型来确定调度策略。
其中，对于某一时刻来说，该时刻的待分配订单可用来表征该时刻的配送量需求，所述的待分配订单是指已经生成、但尚未分配给任何配送运力（包括用于配送的无人设备以及诸如骑手等人工配送运力）的订单。该时刻的可用无人设备既包括该时刻尚未执行任何配送任务的无人设备，还包括正在执行配送任务，但除正在执行的配送任务以外还可接受其他配送任务的无人设备。
本发明实施例则可以该时刻的待分配订单和该时刻的可用无人设备作为机器学习模型的输入，使得该机器学习模型输出相应的调度策略。
而对于机器学习模型来说，在实际使用该机器学习模型之前，需要对该机器学习模型进行训练，为了提高训练效率，本发明实施例还引入了另外一个机器学习模型。以下将用于输出调度策略的机器学习模型称为第一机器学习模型，将用于辅助训练第一机器学习模型的机器学习模型称为第二机器学习模型。
在训练第一机器学习模型时，可先确定指定时刻的待分配订单以及该指定时刻的可用无人设备，作为该指定时刻的状态。该指定时刻的状态用于在训练第一机器学习模型时作为样本输入该第一机器学习模型。其中，所述的指定时刻具体可以是历史时刻，即，可查询某个历史时刻的待分配订单和可用无人设备，作为该历史时刻的状态。
S102：将所述指定时刻的状态输入第一机器学习模型，得到所述第一机器学习模型输出的在所述指定时刻的状态下调度各可用无人设备的调度策略；并确定在所述调度策略的条件下，所有无人设备的使用总成本。
确定了指定时刻的状态后，可将该指定时刻的状态作为训练样本输入第一机器学习模型，第一机器学习模型则根据输入的该指定时刻的状态，输出在该指定时刻的状态的条件下，用于调度各可用无人设备的调度策略。
本发明中所述的调度策略包括以下两个内容：
一、将各待分配订单分配给各可用无人设备的分配方式；
二、按照该分配方式将各待分配订单分配给各可用无人设备后，所有无人设备执行各订单对应的配送任务的路径规划。
需要说明的是，此时的第一机器学习模型是尚未训练完毕的模型，其输出的调度策略可能并不是合适的，即，按该调度策略调度各可用无人设备时，所有无人设备的使用总成本可能会较高。因此，在第一机器学习模型输出了指定时刻的状态下调度各可用无人设备的调度策略后，还可确定在该调度策略的条件下，所有无人设备的使用总成本，将所有无人设备的使用总成本作为目标函数进行后续的训练。
具体的，在确定所有无人设备的使用总成本时，针对在该指定时刻需要执行配送任务的无人设备，可确定该无人设备执行分配给该无人设备的所有订单（包括按照第一机器学习模型输出的调度策略从待分配订单中选择分配给该无人设备的订单）对应的配送任务所需的成本，作为该无人设备的使用成本，针对该指定时刻不需要执行配送任务的无人设备，可确定该无人设备从该指定时刻所在的位置返回指定位置（所述的指定位置包括无人设备的维护站或集中停靠位置）所需的成本，作为该无人设备的使用成本，最后确定所有无人设备的使用成本之和，作为所有无人设备的使用总成本。
其中，无人设备执行分配给该无人设备的所有订单对应的配送任务所需的成本可根据为该无人设备规划的路径长度确定，所述的成本与规划的路径长度正相关。无人设备从该指定时刻所在的位置返回指定位置所需的成本可根据该无人设备在该指定时刻所在的位置到指定位置的距离确定，所述的成本与所述距离正相关。
S104：根据所述调度策略，确定所述指定时刻的下一时刻的待分配订单以及所述下一时刻的可用无人设备，作为所述下一时刻的状态。
S106：将所述下一时刻的状态输入第二机器学习模型，得到所述第二机器学习模型输出的对所述调度策略的评价值。
在本发明实施例中，第一机器学习模型和第二机器学习模型共同构成一个强化学习模型，通过强化学习的方法对第一机器学习模型进行训练。具体的，在步骤S104中，可将指定时刻的状态、第一机器学习模型输出的调度策略输入到仿真系统中，由仿真系统根据指定时刻的状态和调度策略进行仿真，得到该指定时刻的下一时刻的状态，即，下一时刻的待分配订单以及下一时刻的可用无人设备。
由于采用了强化学习的方式对第一机器学习模型进行训练，因此，可根据下一时刻的状态，确定第一机器学习模型输出的该调度策略对应的奖励，而为了提高训练效率，本发明引入了第二机器学习模型用来训练第一机器学习模型。具体的，第一机器学习模型可通过actor网络实现，第二机器学习模型可通过critic网络实现，则第一机器学习模型和第二机器学习模型共同构成了actor-critic模型，这也是属于一种强化学习模型。
通过下一时刻的状态确定了第一机器学习模型输出的调度策略对应的奖励后，在步骤S106中，则可将下一时刻的状态以及调度策略对应的奖励输入第二机器学习模型中，第二机器学习模型可根据下一时刻的状态以及调度策略对应的奖励，预估在该指定时刻的状态下所能达到的所有无人设备的最小使用总成本，并根据该最小使用总成本和该调度策略的条件下所有无人设备的使用总成本，确定对所述调度策略的评价值。
具体的，第二机器学习模型可确定该调度策略的条件下所有无人设备的使用总成本与最小使用总成本的差值，根并据所述差值，确定该调度策略的评价值，其中，所述评价值与所述差值负相关。
也即，由于在第一机器学习模型输出的调度策略下，所有无人设备的使用总成本可能并不是理论上的最小值，因此，可由第二机器学习模型根据下一时刻的状态以及该调度策略的奖励，预估上述理论上的最小值。一般情况下，在第一机器学习模型输出的调度策略下所有无人设备的使用总成本会大于该最小值，因此，可确定出该使用总成本与该最小值的差值，该差值即可表征第一机器学习模型输出的调度策略与最优调度策略的差异。
S108：以所述使用总成本最小化、所述评价值最大化为训练目标，对所述第一机器学习模型进行训练。
在本发明实施例中，可采用梯度下降法来训练第一机器学习模型，以提高第一机器学习模型的模型参数的调整方向，因此，可根据在第一机器学习模型输出的调度策略的条件下，所有无人设备的使用总成本，确定该调度策略的条件下所有无人设备的使用总成本的梯度，后续则可以梯度下降的方向来调整第一机器学习模型的参数。
上述所有无人设备的使用总成本可表示为
Figure DEST_PATH_IMAGE001
。其中：
t为该指定时刻到下一时刻的时间段；
i和j分别是分配给所有无人设备的所有订单（包括按照第一机器学习模型输出的调度策略需要从待分配订单中选择出的要分配给各可用无人设备的订单）中，按照该调度策略需要在时间段t内执行配送任务对应的订单的取货地和送货地；
Figure 308919DEST_PATH_IMAGE002
是按照该调度策略，在该指定时刻尚未执行完毕的配送任务对应的订单的数 量；
Figure DEST_PATH_IMAGE003
是按照该调度策略，在时间段t内执行的配送任务对应的订单的数量；
Figure 766445DEST_PATH_IMAGE004
是在时间段t内无人设备执行配送任务所需的成本；
Figure DEST_PATH_IMAGE005
是在时间段t内尚未返回指定位置的无人设备的数量；
Figure 580818DEST_PATH_IMAGE006
是在时间段t内不需要执行任何配送任务的无人设备从该指定时刻所在的位 置返回指定位置所需的成本。
则第一机器学习模型的目标函数可以表示为
Figure DEST_PATH_IMAGE007
，即最小化所有无人设备的使用总成 本。可先确定
Figure 714865DEST_PATH_IMAGE001
的梯度，然后按照梯度下降的 方向调整第一机器学习模型的模型参数。
为了加快第一机器学习模型的收敛速度，提高训练效率，除了根据上述梯度调整第一机器学习模型的模型参数以外，还可根据该调度策略的条件下所有无人设备的使用总成本与第二机器学习模型预估的最小使用总成本的差值，调整第一机器学习模型的模型参数，这是因为该差值可表征第一机器学习模型输出的调度策略与最优调度策略的差异，因此，上述的梯度可以决定模型参数的调整方向，而该差值可以决定模型参数的调整幅度，从而，根据所述梯度和所述差值，以所述使用总成本最小化、所述评价值最大化为训练目标，对所述第一机器学习模型中的模型参数进行调整，可加快对第一机器学习模型的训练速度。
相应的，采用上述方法对第一机器学习模型进行训练完毕后，在使用训练后的第一机器学习模型调度无人设备时，具体可确定当前时刻的待分配订单以及当前时刻的可用无人设备，作为当前时刻的状态，将所述当前时刻的状态输入第一机器学习模型，得到所述第一机器学习模型输出的调度策略，通过所述调度策略对各可用无人设备进行调度。
本发明中所述的无人设备可包括用于执行配送任务的无人车、无人机或机器人等无人驾驶设备。
以上为本发明实施例提供的模型训练及调度无人设备的方法，基于同样的思路，本发明还提供了相应的装置、存储介质和电子设备。
图2为本发明实施例提供的一种模型训练的装置结构示意图，所述装置包括：
确定模块201，用于确定指定时刻的待分配订单以及所述指定时刻的可用无人设备，作为所述指定时刻的状态；
输入模块202，用于将所述指定时刻的状态输入第一机器学习模型，得到所述第一机器学习模型输出的在所述指定时刻的状态下调度各可用无人设备的调度策略；并确定在所述调度策略的条件下，所有无人设备的使用总成本；
仿真模块203，用于根据所述调度策略，确定所述指定时刻的下一时刻的待分配订单以及所述下一时刻的可用无人设备，作为所述下一时刻的状态；
评价模块204，用于将所述下一时刻的状态输入第二机器学习模型，得到所述第二机器学习模型输出的对所述调度策略的评价值；
训练模块205，用于以所述使用总成本最小化、所述评价值最大化为训练目标，对所述第一机器学习模型进行训练。
可选地，所述评价模块204具体用于，根据所述下一时刻的状态，确定所述调度策略对应的奖励；将所述下一时刻的状态以及所述调度策略对应的奖励输入第二机器学习模型。
可选地，所述评价模块204具体用于，通过所述第二机器学习模型，根据所述下一时刻的状态以及所述调度策略对应的奖励，预估在所述指定时刻的状态下所能达到的所有无人设备的最小使用总成本；根据所述最小使用总成本和所述调度策略的条件下所有无人设备的使用总成本，确定对所述调度策略的评价值。
可选地，所述评价模块204具体用于，确定所述调度策略的条件下所有无人设备的使用总成本与所述最小使用总成本的差值；根据所述差值，确定所述调度策略的评价值，其中，所述评价值与所述差值负相关。
可选地，所述训练模块205，具体用于根据所述调度策略的条件下所有无人设备的使用总成本，确定所述调度策略的条件下所有无人设备的使用总成本的梯度；根据所述梯度和所述差值，以所述使用总成本最小化、所述评价值最大化为训练目标，对所述第一机器学习模型中的模型参数进行调整。
可选地，所述第一机器学习模型包括actor网络；
所述第二机器学习模型包括critic网络。
图3为本发明实施例提供的一种调度无人设备的装置结构示意图，所述装置包括：
确定模块301，用于确定当前时刻的待分配订单以及当前时刻的可用无人设备，作为当前时刻的状态；
输入模块302，用于将所述当前时刻的状态输入第一机器学习模型，得到所述第一机器学习模型输出的调度策略；其中，所述第一机器学习模型是采用如上所述的模型训练方法训练得到的；
调度模块303，用于通过所述调度策略对各可用无人设备进行调度。
本发明还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可用于执行上述提供的模型训练的方法或调度无人设备的方法。
基于上述提供的模型训练的方法或调度无人设备的方法，本发明实施例还提供了图4所示的电子设备的结构示意图。如图4，在硬件层面，该无人设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述的模型训练的方法或调度无人设备的方法。
当然，除了软件实现方式之外，本发明并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (11)

1.一种模型训练的方法，其特征在于，包括：
确定指定时刻的待分配订单以及所述指定时刻的可用无人设备，作为所述指定时刻的状态；
将所述指定时刻的状态输入第一机器学习模型，得到所述第一机器学习模型输出的在所述指定时刻的状态下调度各可用无人设备的调度策略；并确定在所述调度策略的条件下，所有无人设备的使用总成本；
根据所述调度策略，确定所述指定时刻的下一时刻的待分配订单以及所述下一时刻的可用无人设备，作为所述下一时刻的状态；
将所述下一时刻的状态输入第二机器学习模型，得到所述第二机器学习模型输出的对所述调度策略的评价值；
以所述使用总成本最小化、所述评价值最大化为训练目标，对所述第一机器学习模型进行训练。
2.如权利要求1所述的方法，其特征在于，将所述下一时刻的状态输入第二机器学习模型，具体包括：
根据所述下一时刻的状态，确定所述调度策略对应的奖励；
将所述下一时刻的状态以及所述调度策略对应的奖励输入第二机器学习模型。
3.如权利要求2所述的方法，其特征在于，得到所述第二机器学习模型输出的对所述调度策略的评价值，具体包括：
通过所述第二机器学习模型，根据所述下一时刻的状态以及所述调度策略对应的奖励，预估在所述指定时刻的状态下所能达到的所有无人设备的最小使用总成本；
根据所述最小使用总成本和所述调度策略的条件下所有无人设备的使用总成本，确定对所述调度策略的评价值。
4.如权利要求3所述的方法，其特征在于，根据所述最小使用总成本和所述调度策略的条件下所有无人设备的使用总成本，确定对所述调度策略的评价值，具体包括：
确定所述调度策略的条件下所有无人设备的使用总成本与所述最小使用总成本的差值；
根据所述差值，确定所述调度策略的评价值，其中，所述评价值与所述差值负相关。
5.如权利要求4所述的方法，其特征在于，以所述使用总成本最小化、所述评价值最大化为训练目标，对所述第一机器学习模型进行训练，具体包括：
根据所述调度策略的条件下所有无人设备的使用总成本，确定所述调度策略的条件下所有无人设备的使用总成本的梯度；
根据所述梯度和所述差值，以所述使用总成本最小化、所述评价值最大化为训练目标，对所述第一机器学习模型中的模型参数进行调整。
6.如权利要求1~5任一所述的方法，其特征在于，所述第一机器学习模型包括actor网络；
所述第二机器学习模型包括critic网络。
7.一种调度无人设备的方法，其特征在于，包括：
确定当前时刻的待分配订单以及当前时刻的可用无人设备，作为当前时刻的状态；
将所述当前时刻的状态输入第一机器学习模型，得到所述第一机器学习模型输出的调度策略；其中，所述第一机器学习模型是采用如权利要求1~6任一所述的方法训练得到的；
通过所述调度策略对各可用无人设备进行调度。
8.一种模型训练的装置，其特征在于，包括：
确定模块，用于确定指定时刻的待分配订单以及所述指定时刻的可用无人设备，作为所述指定时刻的状态；
输入模块，用于将所述指定时刻的状态输入第一机器学习模型，得到所述第一机器学习模型输出的在所述指定时刻的状态下调度各可用无人设备的调度策略；并确定在所述调度策略的条件下，所有无人设备的使用总成本；
仿真模块，用于根据所述调度策略，确定所述指定时刻的下一时刻的待分配订单以及所述下一时刻的可用无人设备，作为所述下一时刻的状态；
评价模块，用于将所述下一时刻的状态输入第二机器学习模型，得到所述第二机器学习模型输出的对所述调度策略的评价值；
训练模块，用于以所述使用总成本最小化、所述评价值最大化为训练目标，对所述第一机器学习模型进行训练。
9.一种调度无人设备的装置，其特征在于，包括：
确定模块，用于确定当前时刻的待分配订单以及当前时刻的可用无人设备，作为当前时刻的状态；
输入模块，用于将所述当前时刻的状态输入第一机器学习模型，得到所述第一机器学习模型输出的调度策略；其中，所述第一机器学习模型是采用如权利要求1~6任一所述的方法训练得到的；
调度模块，用于通过所述调度策略对各可用无人设备进行调度。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-7任一项所述的方法。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-7任一项所述的方法。
CN202110829449.9A 2021-07-22 2021-07-22 一种模型训练和调度无人设备的方法及装置 Active CN113298445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110829449.9A CN113298445B (zh) 2021-07-22 2021-07-22 一种模型训练和调度无人设备的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110829449.9A CN113298445B (zh) 2021-07-22 2021-07-22 一种模型训练和调度无人设备的方法及装置

Publications (2)

Publication Number Publication Date
CN113298445A true CN113298445A (zh) 2021-08-24
CN113298445B CN113298445B (zh) 2022-07-15

Family

ID=77330816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110829449.9A Active CN113298445B (zh) 2021-07-22 2021-07-22 一种模型训练和调度无人设备的方法及装置

Country Status (1)

Country Link
CN (1) CN113298445B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991388A (zh) * 2023-09-26 2023-11-03 之江实验室 一种深度学习编译器的图优化序列生成方法及装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180089553A1 (en) * 2016-09-27 2018-03-29 Disney Enterprises, Inc. Learning to schedule control fragments for physics-based character simulation and robots using deep q-learning
CN109884897A (zh) * 2019-03-21 2019-06-14 中山大学 一种基于深度强化学习的无人机任务匹配与计算迁移方法
CN110221611A (zh) * 2019-06-11 2019-09-10 北京三快在线科技有限公司 一种轨迹跟踪控制方法、装置及无人驾驶车辆
CN110515732A (zh) * 2019-08-23 2019-11-29 中国人民解放军国防科技大学 一种基于资源受限机器人深度学习推理的任务分配方法
CN111123957A (zh) * 2020-03-31 2020-05-08 北京三快在线科技有限公司 一种轨迹规划的方法及装置
CN111415026A (zh) * 2019-01-08 2020-07-14 北京京东尚科信息技术有限公司 无人设备调度装置、系统和方法
CN111695728A (zh) * 2020-06-04 2020-09-22 南京音飞峰云科技有限公司 基于机器学习的密集库设备调度策略参数动态调优方法
EP3783548A1 (en) * 2019-08-19 2021-02-24 Wipro Limited Method and system for task execution in dynamic heterogeneous robotic environment
CN112596515A (zh) * 2020-11-25 2021-04-02 北京物资学院 一种多物流机器人移动控制方法及装置
US20210133670A1 (en) * 2019-11-05 2021-05-06 Strong Force Vcn Portfolio 2019, Llc Control tower and enterprise management platform with a machine learning/artificial intelligence managing sensor and the camera feeds into digital twin
CN112835333A (zh) * 2020-12-31 2021-05-25 北京工商大学 一种基于深度强化学习多agv避障与路径规划方法及系统
CN112925331A (zh) * 2021-05-10 2021-06-08 北京三快在线科技有限公司 一种无人设备控制方法、装置、存储介质及电子设备
CN112925210A (zh) * 2021-05-11 2021-06-08 北京三快在线科技有限公司 一种模型训练和控制无人设备的方法及装置
CN112990786A (zh) * 2021-05-10 2021-06-18 北京三快在线科技有限公司 一种无人机配送方法及装置
CN113110509A (zh) * 2021-05-17 2021-07-13 哈尔滨工业大学（深圳） 一种基于深度强化学习的仓储系统多机器人路径规划方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180089553A1 (en) * 2016-09-27 2018-03-29 Disney Enterprises, Inc. Learning to schedule control fragments for physics-based character simulation and robots using deep q-learning
CN111415026A (zh) * 2019-01-08 2020-07-14 北京京东尚科信息技术有限公司 无人设备调度装置、系统和方法
CN109884897A (zh) * 2019-03-21 2019-06-14 中山大学 一种基于深度强化学习的无人机任务匹配与计算迁移方法
CN110221611A (zh) * 2019-06-11 2019-09-10 北京三快在线科技有限公司 一种轨迹跟踪控制方法、装置及无人驾驶车辆
EP3783548A1 (en) * 2019-08-19 2021-02-24 Wipro Limited Method and system for task execution in dynamic heterogeneous robotic environment
CN110515732A (zh) * 2019-08-23 2019-11-29 中国人民解放军国防科技大学 一种基于资源受限机器人深度学习推理的任务分配方法
US20210133670A1 (en) * 2019-11-05 2021-05-06 Strong Force Vcn Portfolio 2019, Llc Control tower and enterprise management platform with a machine learning/artificial intelligence managing sensor and the camera feeds into digital twin
CN111123957A (zh) * 2020-03-31 2020-05-08 北京三快在线科技有限公司 一种轨迹规划的方法及装置
CN111695728A (zh) * 2020-06-04 2020-09-22 南京音飞峰云科技有限公司 基于机器学习的密集库设备调度策略参数动态调优方法
CN112596515A (zh) * 2020-11-25 2021-04-02 北京物资学院 一种多物流机器人移动控制方法及装置
CN112835333A (zh) * 2020-12-31 2021-05-25 北京工商大学 一种基于深度强化学习多agv避障与路径规划方法及系统
CN112925331A (zh) * 2021-05-10 2021-06-08 北京三快在线科技有限公司 一种无人设备控制方法、装置、存储介质及电子设备
CN112990786A (zh) * 2021-05-10 2021-06-18 北京三快在线科技有限公司 一种无人机配送方法及装置
CN112925210A (zh) * 2021-05-11 2021-06-08 北京三快在线科技有限公司 一种模型训练和控制无人设备的方法及装置
CN113110509A (zh) * 2021-05-17 2021-07-13 哈尔滨工业大学（深圳） 一种基于深度强化学习的仓储系统多机器人路径规划方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
OMAR BOUHAMED ET AL.: "A Generic Spatiotemporal Scheduling for Autonomous UAVs: A Reinforcement Learning-Based Approach", 《IEEE OPEN JOURNAL OF VEHICULAR TECHNOLOGY 》 *
刘辉等: "基于多智能体强化学习的多AGV路径规划方法", 《自动化与仪表》 *
封佳祥等: "多任务约束条件下基于强化学习的水面无人艇路径规划算法", 《舰船科学技术》 *
戚茜: "不确定环境下融合语义的无人机编队协同控制研究", 《计算机应用与软件》 *
王鸿勃: "基于移动机器人的校园无人配送系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991388A (zh) * 2023-09-26 2023-11-03 之江实验室 一种深度学习编译器的图优化序列生成方法及装置
CN116991388B (zh) * 2023-09-26 2024-01-09 之江实验室 一种深度学习编译器的图优化序列生成方法及装置

Also Published As

Publication number Publication date
CN113298445B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN111208838B (zh) 一种无人驾驶设备的控制方法及装置
CN111522245B (zh) 用于控制无人设备的方法及装置
CN110705934A (zh) 异常订单的识别方法、装置、可读存储介质及电子设备
CN112990786A (zh) 一种无人机配送方法及装置
CN116467061B (zh) 一种任务执行的方法、装置、存储介质及电子设备
CN113298445B (zh) 一种模型训练和调度无人设备的方法及装置
CN115146731A (zh) 一种模型训练的方法、业务风控的方法及装置
CN111038501A (zh) 无人驾驶设备的控制方法及装置
CN112949756B (zh) 一种模型训练以及轨迹规划的方法及装置
CN112987796B (zh) 无人机的控制方法、装置、计算机可读存储介质及无人机
CN116521350B (zh) 基于深度学习算法的etl调度方法及装置
CN117093862A (zh) 一种模型训练的方法、装置、电子设备及存储介质
CN110895406A (zh) 一种基于干扰物轨迹规划的无人设备的测试方法及装置
CN112990758B (zh) 一种远程控制无人驾驶设备的方法及装置
CN112925210B (zh) 一种模型训练和控制无人设备的方法及装置
CN114077944A (zh) 一种订单分配方法、装置、存储介质及电子设备
CN114153207A (zh) 一种无人驾驶设备的控制方法及控制装置
CN111046981B (zh) 一种无人车控制模型的训练方法及装置
CN114925982A (zh) 一种模型训练方法、装置、存储介质及电子设备
CN113887773A (zh) 一种订单调度方法、装置、存储介质及电子设备
CN116151907A (zh) 一种处理订单的方法、装置、电子设备及计算机存储介质
CN110032433B (zh) 一种任务执行方法、装置、设备及介质
CN114372736A (zh) 一种路线推荐的方法、装置、存储介质及电子设备
CN113344248A (zh) 一种订单分配的方法、装置、存储介质以及电子设备
CN112862133A (zh) 订单处理的方法、装置、可读存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant