CN112925331A - 一种无人设备控制方法、装置、存储介质及电子设备 - Google Patents
一种无人设备控制方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112925331A CN112925331A CN202110502899.7A CN202110502899A CN112925331A CN 112925331 A CN112925331 A CN 112925331A CN 202110502899 A CN202110502899 A CN 202110502899A CN 112925331 A CN112925331 A CN 112925331A
- Authority
- CN
- China
- Prior art keywords
- control strategy
- unmanned equipment
- model
- initial
- unmanned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003860 storage Methods 0.000 title claims description 21
- 238000011217 control strategy Methods 0.000 claims abstract description 157
- 230000002787 reinforcement Effects 0.000 claims abstract description 42
- 230000033001 locomotion Effects 0.000 claims description 53
- 238000012549 training Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 230000006872 improvement Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本说明书公开了一种无人设备控制方法、装置、存储介质及电子设备，本说明书实施例先将无人设备的当前状态以及所述无人设备周围预设范围内各障碍物的当前状态输入决策模型，通过决策模型输出无人设备的初始控制策略。然后，将初始控制策略输入调整模型中，根据调整模型中的安全约束条件，对初始控制策略进行调整，得到最终控制策略。此方法中，将无人设备行驶的安全指标从现有技术中的强化学习模型中剥离出来，构成单独的安全约束条件。当无人设备处于复杂的场景时，可以根据该安全约束条件得到满足该安全约束条件的最终控制策略。这样，可以避免现有技术中的强化学习模型所存在的试错成本较高的问题。
Description
技术领域
本说明书涉及无人驾驶领域，尤其涉及一种无人设备控制方法、装置、存储介质及电子设备。
背景技术
随着自动驾驶技术的发展，无人设备在各种领域中逐渐发挥越来越重要的作用，如何对无人设备进行控制成为一个热点问题。
现有技术中，通过强化学习模型对无人设备进行控制时，可以将无人设备的状态（如位置等）、障碍物的状态等状态信息抽象为环境S，将S输入强化学习模型，得到强化学习模型输出的控制策略a，无人设备在该控制策略a的控制下，会对环境S产生影响，使其改变成S’，再将S’输入强化学习模型，继续使其输出控制策略a’，以此类推。每一次改变环境S，均可根据改变的环境为强化学习模型确定奖励R，而强化学习的过程，实质上就是求解能够使获得的总奖励的期望值最大的控制策略。其中，每改变一次环境时所获得的奖励的大小通常取决于若干指标，如无人设备是否能尽快到达目的地、行驶是否平稳等。在得到总奖励的期望值最大的控制策略之后，就可以在该控制策略下对无人设备进行控制。
由于强化学习模型输出的控制策略必须要作用于环境后，才能学习到经验，因此，当无人设备处于简单的场景下，现有技术中的强化学习模型输出的控制策略可以控制无人设备进行安全行驶。但当无人设备处于诸如路口等复杂的场景时，判断强化学习模型输出的控制策略是否安全的试错成本较高，导致该强化学习模型不适用于复杂的场景。
发明内容
本说明书实施例提供一种无人设备控制方法、装置、存储介质及电子设备，以部分解决上述现有技术存在的问题。
本说明书实施例采用下述技术方案：
本说明书提供的一种无人设备控制方法，包括：
获取无人设备的当前状态以及所述无人设备周围预设范围内各障碍物的当前状态，作为初始状态；
将所述初始状态输入预先训练的决策模型中，通过所述决策模型，得到所述决策模型输出的初始控制策略；其中，所述决策模型为强化学习模型；
将所述初始控制策略输入预先训练的调整模型中，以通过所述调整模型根据安全约束条件，对所述初始控制策略进行调整，得到最终控制策略；
根据所述最终控制策略，对所述无人设备进行控制。
可选地，在将所述初始控制策略输入预先训练的调整模型中之前，所述方法还包括：
根据所述无人设备的当前状态以及所述无人设备周围预设范围内各障碍物的当前状态，确定所述无人设备当前的安全约束条件。
可选地，所述初始控制策略包括：所述无人设备下一时刻的运动速度；
根据所述无人设备的当前状态以及所述无人设备周围预设范围内各障碍物的当前状态，确定所述无人设备当前的安全约束条件，具体包括：
根据所述无人设备的当前状态以及所述无人设备周围预设范围内各障碍物的当前状态，确定所述无人设备与每个障碍物之间的距离；
根据所述距离与预设距离，确定所述无人设备的运动速度区间，并将所述运动速度区间作为所述无人设备当前的安全约束条件。
可选地，将所述初始控制策略输入预先训练的调整模型中，以通过所述调整模型根据安全约束条件，对所述初始控制策略进行调整，具体包括：
将所述初始控制策略输入预先训练的调整模型中，以通过所述调整模型根据所述运动速度区间，将所述初始控制策略中的运动速度调整到所述运动速度区间内。
可选地，预先训练所述决策模型，具体包括：
预先获取无人设备的运动状态以及所述无人设备周围预设范围内各障碍物的运动状态，作为样本初始状态；
将所述样本初始状态输入所述决策模型中，得到所述决策模型输出的待优化初始控制策略；其中，所述决策模型为强化学习模型；
将所述待优化初始控制策略输入所述预先训练的调整模型，得到待优化最终控制策略；
根据所述待优化最终控制策略，对所述样本初始状态进行更新；
根据更新后的样本初始状态，确定所述决策模型的奖励值；
以所述奖励值最大为训练目标，对所述决策模型进行训练。
可选地，根据更新后的样本初始状态，确定所述决策模型的奖励值，具体包括：
根据更新后的样本初始状态，确定所述无人设备更新后的状态；其中，所述无人设备更新后的状态包括：位置信息和运动速度；
根据所述无人设备更新后的位置信息与标准位置信息，确定所述无人设备更新后的位置信息与标准位置信息的差异；
根据所述差异与所述无人设备更新后的运动速度，确定所述决策模型的奖励值。
可选地，预先训练所述调整模型，具体包括：
预先获取所述无人设备的样本安全约束条件以及样本控制策略；
将所述无人设备的样本安全约束条件以及样本控制策略输入所述调整模型，以通过所述调整模型根据所述样本安全约束条件，对所述样本控制策略进行调整，得到满足所述安全约束条件的待优化最终控制策略；
以所述待优化最终控制策略与所述样本控制策略的差异最小化为训练目标，对所述调整模型进行训练。
本说明书提供的一种无人设备控制装置，包括：
获取模块，用于获取无人设备的当前状态以及所述无人设备周围预设范围内各障碍物的当前状态，作为初始状态；
决策模块，用于将所述初始状态输入预先训练的决策模型中，通过所述决策模型，得到所述决策模型输出的初始控制策略；其中，所述决策模型为强化学习模型；
调整模块，用于将所述初始控制策略输入预先训练的调整模型中，以通过所述调整模型根据安全约束条件，对所述初始控制策略进行调整，得到最终控制策略；
控制模型，用于根据所述最终控制策略，对所述无人设备进行控制。
本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的无人设备控制方法。
本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的无人设备控制方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
本说明书实施例先将无人设备的当前状态以及所述无人设备周围预设范围内各障碍物的当前状态输入决策模型，通过决策模型输出无人设备的初始控制策略。其中，所述决策模型为强化学习模型。然后，将初始控制策略输入调整模型中，根据调整模型中的安全约束条件，对初始控制策略进行调整，得到最终控制策略。此方法中，将无人设备行驶的安全指标从现有技术中的强化学习模型中剥离出来，构成单独的安全约束条件。当无人设备处于复杂的场景时，可以根据该安全约束条件对初始控制策略进行调整，使最终控制策略满足该安全约束条件，这样，可以在保证无人设备安全行驶的同时，避免现有技术中的强化学习模型因行驶安全而产生的试错成本较高的问题。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书实施例提供的无人设备控制流程示意图；
图2为本说明书实施例提供的决策模型训练的示意图；
图3为本说明书实施例提供的无人设备控制装置结构示意图；
图4为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
现有技术中的强化学习模型可以根据无人设备是否能尽快到达目的地、行驶是否平稳、行驶是否安全等指标确定奖励的大小，为无人设备输出使奖励期望最大的控制策略。也就是说，现有技术中的强化学习模型可以为无人设备输出最优的控制策略，以控制无人设备行驶。其中，强化学习模型得到的最优控制策略是指奖励期望最大的控制策略，深度学习模型得到的最优控制策略是与标注的控制策略最接近的控制策略。另外，现有技术中的强化学习模型输出的控制策略需要作用于环境之后，根据环境反馈的信息，才能得到奖励的大小，从而学习到经验。在此基础上，当无人设备处于复杂的场景时（比如，同时具有行人和有人驾驶车辆的路口场景），该强化学习模型输出的控制策略是否能使无人设备安全行驶需要不断地尝试和学习，导致该强化学习模型的试错成本较高。
而在本说明书实施例中，将无人设备行驶的安全指标从现有技术中的强化学习模型中剥离出去，得到不考虑无人设备行驶的安全指标的决策模型，这样可以避免现有技术的强化学习模型由于安全行驶而产生的试错成本较高的问题。其中，所述决策模型为强化学习模型。而本说明书实施例中的决策模型根据无人设备行驶时的其他指标，为无人设备输出使奖励期望最大的控制策略，即，输出无人设备行驶的最优控制策略。由于考虑到无人设备行驶的安全问题，可以根据剥离出来的安全指标确定出安全约束条件，然后，根据安全约束条件对该决策模型输出的最优控制策略进行安全约束，得到最终控制策略。这样，最终控制策略是满足安全约束条件的最优控制策略。由此可见，本说明书实施例中的无人设备控制方法可以在保证无人设备行驶安全的同时，弥补现有技术中强化学习模型在复杂场景下存在的试错成本较高的缺点。
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书实施例提供的无人设备控制流程示意图，包括：
S100：获取无人设备的当前状态以及所述无人设备周围预设范围内各障碍物的当前状态，作为初始状态。
在本说明书实施例中，本说明书中所述的无人设备可包括无人车和无人机，所述的无人设备可用于物流配送领域，既包括外卖、配送等即时配送领域，也包括其他非即时配送领域。
在说明书实施例中，可以获取无人设备的当前状态和该无人设备周围预设范围内各障碍物的当前状态，并将无人设备的当前状态和各障碍物的当前状态作为初始状态。其中，当前状态包括：位置信息、运动速度、姿态等。各障碍物包括：行人、其他无人设备、有人驾驶车辆等。
S102：将所述初始状态输入预先训练的决策模型中，通过所述决策模型，得到所述决策模型输出的初始控制策略。
在本说明书实施例中，将无人设备的当前状态以及该无人设备周围预设范围内各障碍物的当前状态输入预先训练的决策模型中，通过决策模型，得到决策模型输出的奖励值最大的控制策略，作为初始控制策略。其中，决策模型为强化学习模型。初始控制策略包括：无人设备下一时刻的位置信息、运动速度、加速度和姿态等。而奖励值的大小取决于无人设备是否到达目的地、无人设备行驶是否平稳、无人设备行驶轨迹是否平滑等指标，但不包括无人设备行驶是否安全的指标。
例如：可以将无人设备当前的位置信息和各障碍物当前的位置信息输入决策模型，通过决策模型，得到决策模型输出包含无人设备下一时刻的运动速度的控制策略。
S104：将所述初始控制策略输入预先训练的调整模型中，以通过所述调整模型根据安全约束条件，对所述初始控制策略进行调整，得到最终控制策略。
S106：根据所述最终控制策略，对所述无人设备进行控制。
在本说明书实施例中，由于步骤S102中的决策模型并没有考虑无人设备行驶过程中的安全性，因此在步骤S104中需要根据安全约束条件，对决策模型中输出的初始控制策略进行安全约束，使无人设备可以提高避障概率，达到安全行驶的目的。其中，安全约束条件可以是对无人设备的运动速度进行约束，也可以是对无人设备与各障碍物之间的距离进行约束，还可以是对无人设备的加速度进行约束。接下来，以安全约束条件是约束无人设备的运动速度为例，对如何确定安全约束条件以及如何调整初始控制策略进行说明。
在本说明书实施例中，在将决策模型输出的初始控制策略输入预先训练的调整模型之前，可以根据无人设备的当前状态以及各障碍物的当前状态，确定无人设备与每个障碍物之间的距离。根据无人设备与每个障碍物之间的距离以及预设距离，确定无人设备下一时刻的运动速度区间，并将安全速度区间作为无人设备当前的安全约束条件。其中，预设距离可以是无人设备与每个障碍物之间的最小安全距离。
具体的，可以先设置无人设备与每个障碍物之间的最小安全距离（预设距离），以无人设备与每个障碍物之间的距离不小于最小安全距离为约束，计算无人设备的运动速度区间，并将无人设备的运动速度区间作为无人设备的安全约束条件。
例如，可以针对无人设备的位置信息先定义安全距离区间
：
，
。其中，i表示第i个障碍物。
为无人
设备的位置信息，
为各障碍物的位置信息，D为最小安全距离。
为针对无人设备的安
全距离约束函数。然后，根据无人设备的安全距离约束函数，将对无人设备的安全距离约束
转换成对无人设备的安全运动速度约束，得到运动速度受约束的控制空间
：
，对
化简，得到
。因此，可以将无人设备的运动速度区间作为无人设备的安全约束条
件。
在获得无人设备当前的安全约束条件之后，将安全约束条件与初始控制策略输入预先训练的调整模型中，通过调整模型中的安全约束条件，对初始控制策略进行调整，得到满足安全约束条件的最终控制策略。然后，根据最终控制策略，对无人设备进行控制。其中，最终控制策略包括：无人设备下一时刻的实际运动速度、加速度、位置信息和姿态等。
具体的，可以根据无人设备的运动速度区间（安全约束条件），将初始控制策略中无人设备下一时刻的运动速度调整到该运动速度区间内，得到处于该运动速度区间的最终控制策略。
此外，还可以将无人设备的当前状态和各障碍物的当前状态输入预先训练的调整模型中，通过调整模型，确定无人设备的安全约束条件。此时，该调整模型具备两个功能：功能一，确定安全约束条件的功能；功能二，根据安全约束条件，对初始控制策略进行调整。其中，调整模型确定无人设备的安全约束条件的方法与上述确定无人设备的安全约束条件的方法相同。
在本说明书实施例中，由于无人设备的安全约束条件与最小安全距离相关，因此，根据满足安全约束条件的最终控制策略，控制无人设备进行行驶时，可以与各障碍物之间保持相对安全的距离，从而提高了无人设备避障的概率。
通过上述图1所示的方法可见，本说明书先将无人设备的当前状态以及所述无人设备周围预设范围内各障碍物的当前状态输入决策模型，通过决策模型输出无人设备的初始控制策略。其中，决策模型为强化学习模型。然后，将初始控制策略输入调整模型中，根据调整模型中的安全约束条件，对初始控制策略进行调整，得到最终控制策略。此方法中，决策模型输出的初始控制策略并没有考虑无人设备行驶过程中的安全问题，而是将无人设备行驶的安全指标从现有技术中的强化学习模型中剥离出来，构成单独的安全约束条件。这样可以避免现有技术中的强化学习模型因行驶安全而产生的试错成本较高的问题。为了解决无人设备行驶时的安全性，可以根据安全约束条件对初始控制策略进行调整，得到满足安全约束条件的最终控制策略。即使在复杂的场景中，无人设备在最终控制策略的控制下，也可以在保证无人设备安全行驶的同时，有效提高无人设备的避障概率。
进一步的，在如图1所示的步骤S102~步骤S104中，需要先对调整模型进行训练，再对决策模型进行训练。
具体的，对调整模型进行训练时，可以获取无人设备的样本安全约束条件以及样本控制策略。然后，将样本安全约束条件以及样本控制策略输入调整模型中，通过调整模型中的样本安全约束条件，对样本控制策略进行调整，得到满足该安全约束条件的待优化最终控制策略。以待优化最终控制策略与样本控制策略的差异最小化为训练目标，对该调整模型进行训练。
其中，上述的调整模型可以是机器学习模型，比如：深度学习模型，甚至也可以是强化学习模型。之所以调整模型可以是强化学习模型的原因在于，将预先确定的样本安全约束条件输入该调整模型中，该调整模型只需要按照确定的样本安全约束条件，对输入的样本初始控制策略进行约束，以得到与样本初始控制策略差异最小的最终控制策略即可，不需要像现有技术中的强化学习模型一样，在每次控制策略作用于环境后，根据环境反馈的信息判断控制策略是否安全。也就是说，现有技术中的强化学习模型需要不断尝试和学习怎样的控制策略是安全的，怎样的控制策略是不安全的。而该调整模型中的安全约束条件已经表明怎样的控制策略是安全的，不需要不断尝试和学习。
将调整模型训练完成后，将训练完成的调整模型应用到决策模型中，并对该决策模型进行训练。
具体的，先获取无人设备的运动状态以及无人设备周围预设范围内各障碍物的运动状态，作为样本初始状态。再将样本初始状态输入决策模型中，得到决策模型输出的待优化初始控制策略。然后，将待优化初始控制策略输入训练完成的调整模型，得到待优化最终控制策略。根据待优化最终控制策略，对样本初始状态进行更新。根据更新后的样本初始状态，确定决策模型的奖励值，并将更新后的样本初始状态重新输入该决策模型中，重复上述训练过程，得到每次状态更新后的奖励值。最后，以奖励值最大为训练目标，对该决策模型进行训练。如图2所示。
其中，确定奖励值的方法可包括：先确定无人设备更新后的状态，其中，更新后的状态包括：更新后的位置信息和更新后的运动速度。再根据无人设备更新后的位置信息与标准位置信息，确定无人设备更新后的位置信息与标准位置信息的差异。最后，根据差异与无人设备更新后的运动速度，确定该决策模型的奖励值。
例如，可以将决策模型中奖励函数设置为：
。
其中，
=
，
表示无人设备每次更新状态后的位置信息。
=
，
表示无人设备每次
更新状态后的运动速度。
表示标准位置信息。
和
为设定的权重。基于上述的奖
励函数，可以计算无人设备每次更新状态后的奖励值。
以上为本说明书实施例提供的无人设备控制方法，基于同样的思路，本说明书还提供了相应的装置、存储介质和电子设备。
图3为本说明书实施例提供的一种无人设备控制装置的结构示意图，所述装置包括：
获取模块301，用于获取无人设备的当前状态以及所述无人设备周围预设范围内各障碍物的当前状态，作为初始状态；
决策模块302，用于将所述初始状态输入预先训练的决策模型中，通过所述决策模型，得到所述决策模型输出的初始控制策略；其中，所述决策模型为强化学习模型；
调整模块303，用于将所述初始控制策略输入预先训练的调整模型中，以通过所述调整模型根据安全约束条件，对所述初始控制策略进行调整，得到最终控制策略；
控制模型304，用于根据所述最终控制策略，对所述无人设备进行控制。
可选地，在将所述初始控制策略输入预先训练的调整模型中之前，所述调整模块303具体用于，根据所述无人设备的当前状态以及所述无人设备周围预设范围内各障碍物的当前状态，确定所述无人设备当前的安全约束条件。
可选地，所述初始控制策略包括：所述无人设备下一时刻的运动速度；
可选地，所述调整模块303具体用于，根据所述无人设备的当前状态以及所述无人设备周围预设范围内各障碍物的当前状态，确定所述无人设备与每个障碍物之间的距离；根据所述距离与预设距离，确定所述无人设备的运动速度区间，并将所述运动速度区间作为所述无人设备当前的安全约束条件。
可选地，所述调整模块303具体用于，将所述初始控制策略输入预先训练的调整模型中，以通过所述调整模型根据所述运动速度区间，将所述初始控制策略中的运动速度调整到所述运动速度区间内。
可选地，所述装置还包括：调整模型训练模块305和决策模型训练模块306；
所述调整模型训练模块305，用于预先获取所述无人设备的样本安全约束条件以及样本控制策略；将所述无人设备的样本安全约束条件以及样本控制策略输入所述调整模型，以通过所述调整模型根据所述样本安全约束条件，对所述样本控制策略进行调整，得到满足所述安全约束条件的待优化最终控制策略；以所述待优化最终控制策略与所述样本控制策略的差异最小化为训练目标，对所述调整模型进行训练。
可选地，所述决策模型训练模块306，用于预先获取无人设备的运动状态以及所述无人设备周围预设范围内各障碍物的运动状态，作为样本初始状态；将所述样本初始状态输入所述决策模型中，得到所述决策模型输出的待优化初始控制策略；其中，所述决策模型为强化学习模型；将所述待优化初始控制策略输入所述预先训练的调整模型，得到待优化最终控制策略；根据所述待优化最终控制策略，对所述样本初始状态进行更新；根据更新后的样本初始状态，确定所述决策模型的奖励值；以所述奖励值最大为训练目标，对所述决策模型进行训练。
可选地，所述决策模型训练模块306具体用于，根据更新后的样本初始状态，确定所述无人设备更新后的状态；其中，所述无人设备更新后的状态包括：位置信息和运动速度；根据所述无人设备更新后的位置信息与标准位置信息，确定所述无人设备更新后的位置信息与标准位置信息的差异；根据所述差异与所述无人设备更新后的运动速度，确定所述决策模型的奖励值。
本说明书还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可用于执行上述图1提供的无人设备控制方法。
基于图1所示的运动轨迹的预测方法，本说明书实施例还提供了图4所示的无人设备的结构示意图。如图4，在硬件层面，该无人设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的无人设备控制方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种无人设备控制方法，其特征在于，包括：
获取无人设备的当前状态以及所述无人设备周围预设范围内各障碍物的当前状态，作为初始状态；
将所述初始状态输入预先训练的决策模型中，通过所述决策模型，得到所述决策模型输出的初始控制策略；其中，所述决策模型为强化学习模型；
将所述初始控制策略输入预先训练的调整模型中，以通过所述调整模型根据安全约束条件，对所述初始控制策略进行调整，得到最终控制策略；
根据所述最终控制策略，对所述无人设备进行控制。
2.如权利要求1所述的方法，其特征在于，在将所述初始控制策略输入预先训练的调整模型中之前，所述方法还包括：
根据所述无人设备的当前状态以及所述无人设备周围预设范围内各障碍物的当前状态，确定所述无人设备当前的安全约束条件。
3.如权利要求2所述的方法，其特征在于，所述初始控制策略包括：所述无人设备下一时刻的运动速度；
根据所述无人设备的当前状态以及所述无人设备周围预设范围内各障碍物的当前状态，确定所述无人设备当前的安全约束条件，具体包括：
根据所述无人设备的当前状态以及所述无人设备周围预设范围内各障碍物的当前状态，确定所述无人设备与每个障碍物之间的距离；
根据所述距离与预设距离，确定所述无人设备的运动速度区间，并将所述运动速度区间作为所述无人设备当前的安全约束条件。
4.如权利要求3所述的方法，其特征在于，将所述初始控制策略输入预先训练的调整模型中，以通过所述调整模型根据安全约束条件，对所述初始控制策略进行调整，具体包括：
将所述初始控制策略输入预先训练的调整模型中，以通过所述调整模型根据所述运动速度区间，将所述初始控制策略中的运动速度调整到所述运动速度区间内。
5.如权利要求1所述的方法，其特征在于，预先训练所述决策模型，具体包括：
预先获取无人设备的运动状态以及所述无人设备周围预设范围内各障碍物的运动状态，作为样本初始状态；
将所述样本初始状态输入所述决策模型中，得到所述决策模型输出的待优化初始控制策略；其中，所述决策模型为强化学习模型；
将所述待优化初始控制策略输入所述预先训练的调整模型，得到待优化最终控制策略；
根据所述待优化最终控制策略，对所述样本初始状态进行更新；
根据更新后的样本初始状态，确定所述决策模型的奖励值；
以所述奖励值最大为训练目标，对所述决策模型进行训练。
6.如权利要求5所述的方法，其特征在于，根据更新后的样本初始状态，确定所述决策模型的奖励值，具体包括：
根据更新后的样本初始状态，确定所述无人设备更新后的状态；其中，所述无人设备更新后的状态包括：位置信息和运动速度；
根据所述无人设备更新后的位置信息与标准位置信息，确定所述无人设备更新后的位置信息与标准位置信息的差异；
根据所述差异与所述无人设备更新后的运动速度，确定所述决策模型的奖励值。
7.如权利要求1或5所述的方法，其特征在于，预先训练所述调整模型，具体包括：
预先获取所述无人设备的样本安全约束条件以及样本控制策略；
将所述无人设备的样本安全约束条件以及样本控制策略输入所述调整模型，以通过所述调整模型根据所述样本安全约束条件，对所述样本控制策略进行调整，得到满足所述安全约束条件的待优化最终控制策略；
以所述待优化最终控制策略与所述样本控制策略的差异最小化为训练目标，对所述调整模型进行训练。
8.一种无人设备控制装置，其特征在于，包括：
获取模块，用于获取无人设备的当前状态以及所述无人设备周围预设范围内各障碍物的当前状态，作为初始状态；
决策模块，用于将所述初始状态输入预先训练的决策模型中，通过所述决策模型，得到所述决策模型输出的初始控制策略；其中，所述决策模型为强化学习模型；
调整模块，用于将所述初始控制策略输入预先训练的调整模型中，以通过所述调整模型根据安全约束条件，对所述初始控制策略进行调整，得到最终控制策略；
控制模型，用于根据所述最终控制策略，对所述无人设备进行控制。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-7任一项所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110502899.7A CN112925331B (zh) | 2021-05-10 | 2021-05-10 | 一种无人设备控制方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110502899.7A CN112925331B (zh) | 2021-05-10 | 2021-05-10 | 一种无人设备控制方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112925331A true CN112925331A (zh) | 2021-06-08 |
| CN112925331B CN112925331B (zh) | 2021-09-24 |
Family
ID=76174738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110502899.7A Active CN112925331B (zh) | 2021-05-10 | 2021-05-10 | 一种无人设备控制方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112925331B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298445A (zh) * | 2021-07-22 | 2021-08-24 | 北京三快在线科技有限公司 | 一种模型训练和调度无人设备的方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110745136A (zh) * | 2019-09-20 | 2020-02-04 | 中国科学技术大学 | 一种驾驶自适应控制方法 |
| EP3620880A1 (en) * | 2018-09-04 | 2020-03-11 | Autonomous Intelligent Driving GmbH | A method and a device for deriving a driving strategy for a self-driving vehicle and an electronic control unit for performing the driving strategy and a self-driving vehicle comprising the electronic control unit |
| CN111522245A (zh) * | 2020-06-23 | 2020-08-11 | 北京三快在线科技有限公司 | 用于控制无人设备的方法及装置 |
| CN111731326A (zh) * | 2020-07-02 | 2020-10-02 | 知行汽车科技（苏州）有限公司 | 避障策略确定方法、装置及存储介质 |
| CN111845741A (zh) * | 2020-06-28 | 2020-10-30 | 江苏大学 | 一种基于分层强化学习的自动驾驶决策控制方法及系统 |
-
2021
- 2021-05-10 CN CN202110502899.7A patent/CN112925331B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3620880A1 (en) * | 2018-09-04 | 2020-03-11 | Autonomous Intelligent Driving GmbH | A method and a device for deriving a driving strategy for a self-driving vehicle and an electronic control unit for performing the driving strategy and a self-driving vehicle comprising the electronic control unit |
| CN110745136A (zh) * | 2019-09-20 | 2020-02-04 | 中国科学技术大学 | 一种驾驶自适应控制方法 |
| CN111522245A (zh) * | 2020-06-23 | 2020-08-11 | 北京三快在线科技有限公司 | 用于控制无人设备的方法及装置 |
| CN111845741A (zh) * | 2020-06-28 | 2020-10-30 | 江苏大学 | 一种基于分层强化学习的自动驾驶决策控制方法及系统 |
| CN111731326A (zh) * | 2020-07-02 | 2020-10-02 | 知行汽车科技（苏州）有限公司 | 避障策略确定方法、装置及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298445A (zh) * | 2021-07-22 | 2021-08-24 | 北京三快在线科技有限公司 | 一种模型训练和调度无人设备的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112925331B (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112766468B (zh) | 一种轨迹预测方法、装置、存储介质及电子设备 | |
| CN110989636B (zh) | 一种障碍物的轨迹预测方法及装置 | |
| CN111190427B (zh) | 一种轨迹规划的方法及装置 | |
| CN110929431B (zh) | 一种车辆行驶决策模型的训练方法及装置 | |
| CN111208838B (zh) | 一种无人驾驶设备的控制方法及装置 | |
| CN111522245B (zh) | 用于控制无人设备的方法及装置 | |
| CN112990375B (zh) | 一种模型训练方法、装置、存储介质及电子设备 | |
| CN111532285B (zh) | 一种车辆控制方法及装置 | |
| CN111152796A (zh) | 一种车辆运动状态预测方法及装置 | |
| CN111062372B (zh) | 一种预测障碍物轨迹的方法及装置 | |
| CN112346467B (zh) | 一种无人驾驶设备的控制方法及装置 | |
| CN111076739A (zh) | 一种路径规划的方法及装置 | |
| CN113110526B (zh) | 一种模型训练的方法、无人驾驶设备的控制方法及装置 | |
| CN111238523A (zh) | 一种运动轨迹的预测方法及装置 | |
| CN111126362A (zh) | 一种预测障碍物轨迹的方法及装置 | |
| CN112925331B (zh) | 一种无人设备控制方法、装置、存储介质及电子设备 | |
| CN111123957B (zh) | 一种轨迹规划的方法及装置 | |
| CN113325855B (zh) | 基于迁移场景用于预测障碍物轨迹的模型训练方法 | |
| CN113342005B (zh) | 一种无人驾驶设备的横向控制方法及装置 | |
| CN114547972A (zh) | 动力学模型构建方法、装置、存储介质及电子设备 | |
| CN112947495B (zh) | 模型训练的方法、无人驾驶设备的控制方法以及装置 | |
| CN112949756A (zh) | 一种模型训练以及轨迹规划的方法及装置 | |
| CN114153207B (zh) | 一种无人驾驶设备的控制方法及控制装置 | |
| CN113848913B (zh) | 一种无人驾驶设备的控制方法及控制装置 | |
| CN112987754B (zh) | 一种无人设备的控制方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |