CN115594083A - 一种基于马尔可夫决策过程的起重机电子防摇方法及系统 - Google Patents

Abstract

本发明提供了一种基于马尔可夫决策过程的起重机电子防摇方法及系统，获取起重机状态信息并基于人工智能框架进行预处理；基于马尔可夫决策过程构建最优策略模型，将经过预处理后的起重机状态信息输入至最优策略模型中输出动作策略，对最优策略模型进行训练；将当前获取的起重机的状态信息输入至训练好的最优策略模型，得到起重机当前待执行动作策略。可以在不同的运行情况下，有效进行智能电子防摇。

Description

一种基于马尔可夫决策过程的起重机电子防摇方法及系统

技术领域

本发明属于起重机防摇控制相关技术领域，尤其涉及一种基于马尔可夫决策过程的起重机电子防摇方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

目前我国港口的集装箱吞吐量十分巨大且呈增长趋势，这必然促使码头不断提高工作效率，但如果依靠增加人力实现增效，必然会增加大量的人力成本。摇摆对作业效率和安全都带来极大的负面影响，特别是港口起重机，靠近海边风速大，绕流混乱，非常容易导致吊具摇摆，严重影响吊装速度，甚至造成安全隐患和经济损失。作为码头运行效率的最大影响因素，起重机吊具的摇摆问题是自动化改造、智能化升级的一个核心要素，自动化控制层面的升级与改造依赖于转运过程效率和可靠性。

早期的起重机电子闭环控制主要研究方法为经典控制方法，存在一定的局限性，其使用情况并不理想。主要是基于传统钟摆算法，应用于场桥领域，其安装高度低，防摇效果和控制精度要求不高，尚不能满足大型岸桥防摇系统的使用需求。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于马尔可夫决策过程的起重机电子防摇方法及系统，考虑风场的影响，可以在不同的运行情况下，有效进行智能电子防摇。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：一种基于马尔可夫决策过程的起重机电子防摇方法，包括以下步骤：

获取起重机状态信息并基于人工智能框架进行预处理；

基于马尔可夫决策过程构建最优策略模型，将经过预处理后的起重机状态信息输入至最优策略模型中输出动作策略，对最优策略模型进行训练；

将当前获取的起重机的状态信息输入至训练好的最优策略模型，得到起重机当前待执行动作策略。

本发明第二个方面提供一种基于马尔可夫决策过程的起重机电子防摇系统，包括：

信息采集模块，用于获取起重机状态信息；

人工智能框架，用于对获取的起重机状态信息进行预处理，得到吊具的位姿信息、被吊物重量信息、风速风向信息、小车速度信息和小车加速度信息；

基于马尔可夫决策过程构建最优策略模型，将所述起重机状态信息输入至最优策略模型中输出动作策略，对最优策略模型进行预训练；

智能防摇模块，用于根据当前获取的起重机的状态信息输入至预训练的最优策略模型，得到起重机当前待执行动作策略；

电机控制模块，用于根据智能防摇模块输出的动作策略通过变频器控制电机的变速运行，实现起重机的电子防摇。

本发明的第三个方面提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。

本发明的第四个方面提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。

以上一个或多个技术方案存在以下有益效果：

本发明适用于桥式起重机及相似的起重设备，能够不断训练优化决策模型，不断接近理论最优策略，一直执行已知最优的防摇操作，大大提高了吊具防摇效果和可靠性，特别是经过时间累积，模型训练十分可靠时，执行策略最优，完全实现自动智能防摇。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例一中电子防摇方法流程示意图；

图2是本发明实施例二中电子防摇系统示意图；

图3-1是本发明实施例一中风速等级划分示意图；

图3-2是本发明实施例一中风向划分示意图；

图3-3是本发明实施例一中偏移角度和方向划分示意图；

图3-4是本发明实施例一中高度划分示意图；

图3-5是本发明实施例一中被吊物重量范围划分示意图；

图3-6是本发明实施例一中状态空间S示意图；

图4是本发明实施例一中累积回报流程示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

如图1-图2所示，本实施例公开了一种基于马尔可夫决策过程的起重机电子防摇方法，包括以下步骤：

获取起重机状态信息，基于人工智能框架处理起重机状态信息得到偏移信息和吊具高度信息，再进行后续处理得到起重机状态s＝(sv,r′,h,t,v，a)∈S＝{s₁、s₂、s₃.......s_n}；

给定起重机的状态集S、防摇操作集A、即时奖励R、衰减因子γ和模型状态转化概率P，每个s_t都对应着一个行为空间A_t，基于马尔可夫决策过程决策出s_t时刻的最优策略π*，进行大量数据集的训练以此构建最优策略模型；

将起重机状态信息s输入至训练得到的最优策略模型中输出动作策略，得到起重机当前待执行动作策略。

在本实施例，主要考虑了外界风场因素、小车运行状况、吊具位姿信息作为吊具防摇的状态影响因素，风场因素采用风速仪获取，吊具位姿因素通过图像采集设备(大部分情况下是摄像机)获取，小车速度和加速度通过速度编码器获取，被吊物重量信息通过重量传感器获取。

特别要说明的是，根据实际情况不同，状态影响因素可以自由设计，获取方法也在原有设备的基础上灵活变通。

利用主流的人工智能开源框架facebook torchTorch选择或者改进现有的神经网络模型来实现对状态信息的处理，facebook torchTorch是一个广泛支持机器学习算法的科学计算框架，Torch有一个在机器学习领域大型生态社区驱动库包，包括计算机视觉软件包，信号处理，并行处理，图像，视频，音频和网络等，另外开源了基于Torch的深度学习库包，可以灵活简单得建立自己的科学算法，对摄像机获取的图像进行处理，建立马尔可夫决策过程模型。除facebook torchTorch外，Google TensorFlow、IBM SystemML等主流人工智能开源框架都可以根据实际情况进行选择。

在本实施例中，利用人工智能开源框架中包括的计算机视觉软件包处理所述图像采集设备采集到的吊具位姿信息，把位姿信息转化为摆动偏差、偏移方向和吊具高度等信息。然后根据吊具摆动偏差、吊具偏移方向和吊具高度得到所属的偏移范围信息和高度范围信息。

起重机的整个作业过程具有马尔可夫性，吊具和被吊物下一刻的状态只与当前状态和行为有关，与之前的状态和行为都无关。P[s_t+1∣s_t]＝P[s_t+1∣s₁,…,s_t]。处理后的状态集作为MDP设定的状态空间里的一个状态元素，表示目前吊具状态信息，根据马尔可夫决策过程模型找到最优策略，由最优策略决定行为，即生成相应防摇指令。

一个马尔可夫决策过程由一个五元组构成：(S,A,{p_sa},γ,R)，其中S表示状态空间，是一个表示起重机各个状态的有限集合；

A表示动作空间集合(actions)我们这里的动作空间里每个元素也为状态空间，表示起重机每个状态下都对应动作空间集合里的一个动作空间，每个动作空间里的元素为收集到的此状态下的防摇指令训练集；P_sa是起重机的状态转移概率，S中的一个状态到另一个状态的转变，需要A来参与。

P_sa表示的是在当前s∈S状态下，经过a∈A作用后，会转移到的其他状态的概率分布情况(当前状态执行a后可能跳转到很多状态)。

γ∈[0,1)是阻尼系数(discount factor),γ＝0时，相当于只考虑立即不考虑长期回报，γ＝1时，将长期回报和立即回报看得同等重要。

R：S×A→R,R是回报函数(reward function)，回报函数经常写作S的函数(只与S有关)，这样的话，R重新写作R：S→R。

在本实施例中，将风速信息、吊具高度、被吊物重量、吊具偏移信息按照等级进行分段划分，根据生产安全确定能容忍的最大偏移角度，在这个偏移角度范围内像划分风速范围一样，再划分偏移角度范围，结合偏移方向得到吊具和被吊物的偏移信息状态，同样的方法划分高度和重量范围。例如，对于风速进行等级范围划分，如0-1m/s为风速状态sv1、1-2m/s为风速状态sv2，以此往下划分，可以根据实际需求自己确定划分范围大小。

将风速信息、吊具高度、被吊物重量、吊具偏移信息表示其等级表示，小车的速度和加速度保留小数一位数，构成状态集合，状态集合整体作为一个描述吊具状态的状态元素s。

在本实施例中，风速仪测得外界风速为3.1m/s，风向为东；吊具的高度为12m，偏移角度为5度，偏移角度为小车行进的反方向，吊具偏移角度分两种：行进方向及其反方向，用+、-分别表示偏移角度为小车行进方向和小车行进反方向，所以此处偏移信息为：-5；高度为12m；从速度编码器读取的小车速度为v_t＝0.2m/s,加速度为a_t＝0.1m/s2；从重量传感器获取的被吊物重量为2.4t。

根据图3-1和图3-2找到表示风场因素的状态表示：sv＝sv₃+东；根据图3-3找到吊具偏移状态为：r₁′；根据图3-4找到对应吊具高度状态为：h₁₂，根据图3-5找到对应的重量状态为：t₄；得到状态s＝[风：sv₃+东、偏移：r₁′、高度：h₁₂、重量：t₄、小车速度：v_t、小车加速度：a_t]。

在图3-6中必然能匹配到一个s＝s_t∈S:{s₁、s₂、s₃.......s_n}，其中，S为状态空间，由于对初始参数进行范围划分，根据实际情况，各个参数也都有对应的上下限，状态空间是个有限集合。状态集合中每个状态下都有能采取的动作集合即防摇操作构成行为空间，行为空间是状态集合的函数，每个不同的s都对应不同的行为空间，状态s∈S的行为空间记为A(s)，所有行为空间都是有限的防摇操作集合A。

状态st∈S下采取防摇操作a∈A(s)，会产生状态转移，转移到s(t+1)∈S有一定的概率(这里的概率通过大量数据训练统计已知)，概率分布满足：

0≤p(s∣s_t,a_t)≤1 s,s_t∈S,a_t∈A(s_t) (1-1)

∑p(s∣s_t,a_t)＝1 s_t∈S,a_t∈A(s_t)s∈S (1-2)

在某个状态s_t∈S下，采取对应的行为空间里的一条防摇操作a∈A(s)，转移到状态s_(t+1)时，基于所设置的回报函数产生对应的回报R(s_t,a_(t+1),s_(t+1))，回报是确定的，与吊具当前所处状态和采取的防摇操作以及进行防摇操作后进入下一状态有关。

对于回报值，可根据不同需求自定义单步回报函数，在本实施例中，当执行行动后，调整改善偏移角度，偏移角度越小，待在安全范围内的时间越长，回报值越大，可知回报值与下一状态的偏移角度成反比，与维持较好姿态的时间成正比，因此我们设定回报函数的计算公式为：

R(s_t,a_(t+1),s_(t+1))＝k₁|r′|+k₂d,(k₁<0,k₂>0) (2)

其中，k₁为偏移角度|r′|的系数，此处偏移角度为表示方向和大小的矢量，所以取其绝对值表示偏移大小；k₂为时长d的系数，d为吊具待在安全偏移范围内的时长；R(s_t,a(_t+1),s(_t+1))为根据回报函数计算出的回报值，将|r′|和d代入函数得到其值，利用其值大小衡量单步防摇效果的好坏，回报值越大说明此次的防摇指令越优。

需要说明的，本实施例中主要考虑用偏移角度和维持时间作为衡量因素来设置回报函数，但不限于此，依据实际需要，可以增删改动衡量因素，根据各因素的重要程度和不同含义，可以动态设置系数k的大小和正负，只要回报函数与下一状态呈线性关系，能够衡量策略的好坏即可。

岸桥的整个起重过程中采取的防摇操作集合为一个策略，策略表示为：π＝(π₀,π₁,....,π_T-1)，π_i是状态空间到行为空间的一个映射，当吊具处于某个初始状态，按照策略进行防摇操作，就会产生一条如图4所示的状态和行为交替出现的轨迹，由于吊具状态转移有一定的随机性，轨迹也有一定随机性，用τ表示一条轨迹。所有的单步回报的和为累计回报，在MDP问题中，更注重当期的回报，即更注重执行防摇指令后的下一步的吊具状态，所以未来的回报通过折现率γ(0<γ<1)折现到当期，得到累计回报：

其中，G_t是从时间t这一步到结束这条轨迹上获取的累计奖励，γ越靠近0表示越在乎当下的回报，越靠近1表示越看重未来的回报。k为t+1之后的第几步防摇措施。

G_t是从全部可能的轨迹中采样出的一条轨迹，因此具有随机性，其累计奖励的值并不是一个期望回报奖励。因此无法用其评价当前吊具状态的价值，价值函数v(s)便是通过求期望消除了随机性的累计回报，能够准确衡量吊具某一状态处的价值。对价值函数做递归分解，得到贝尔曼期望方程：

V(s)＝E[G_t|S_t＝s]

P_ss′为状态s转移到下一状态s′的概率，V(s′)是转移到新状态后的价值函数。吊具从当前状态出发，根据当前防摇策略π，得到累积奖励的数学期望为此MDP的状态价值函数，其贝尔曼期望方程为：

MDP的动作价值函数是吊具从状态s出发，采取防摇措施a，后续根据当前防摇策略π进行得到的价值，也就是说动作价值函数允许在当前时刻偏移策略采取行动，其贝尔曼方程为：

π(a|s)为防摇策略π在吊具每个状态s指定一个防摇指令的概率。如果给出的策略π是确定的，那么策略π在每个状态s指定一个确定的防摇指令。

最优防摇策略求解过程如下：

最优防摇策略π_π*一定能取得最优价值函数：v_π*(s)＝v_*(s)，最优动作价值函数：q_π*(s，a)＝q_*(s，a)。由公式(2)和公式(5-1)、(5-2)得到：

最优防摇策略可以通过对q_*(s，a)在已知吊具状态下求最大值下的防摇操作指令a得到：

利用贝尔曼最优方程：

v_*(s)＝max_aq_*(s，a) (8-1)

既可以通过求最优状态值函数(8-1)的解求得q_*(s，a)，从而求出最优策略π。

贝尔曼最优方程是一个非线性方程，没有闭式解，可以通过迭代法进行求解。

举例给出值迭代求解方法如下：

S1：初始化状态空间S、动作空间A、状态转移概率

立即回报函数

阻尼系数γ，初始化值函数v(s)＝0，迭代次数k＝0；

S2：根据函数式(5.1)使用高斯-赛德尔迭代算法进行求解。即迭代公式为：

S3：对每个状态s进行计算公式(9)的计算；

S4：迭代次数k自加1；

S5：重复步骤S3、S4，直到v_t+1＝v_t；

S6：得到此时的状态价值函数值及防摇动作a。

需要注意的是，在每次迭代过程中，需要对状态空间进行一次扫描，同时对每个状态空间s对应的防摇指令集进行扫描以便得到贪婪的策略。

通过以上方法得到最优策略π_*后，将其存入最优策略模型中，将起重机的状态s输入到最优策略模型中，即可匹配对应的防摇指令动作和最优模型中的防摇策略，实现智能电子防摇。

最优策略是基于已知的策略集合重组执行动作给出的，更新完善不同状态下的策略集合更有利于给出更加合理的最优策略。

所述马尔可夫决策过程模型经过大量数据积累训练得到的目前已知的最优决策模型，随着起重机工作时间加长，收集的训练集增加，最优决策模型不断更新优化，模型里的已知最优策略不断接近于理论上的最优决策。

实施例二

如图2所示，本实施例的目的是提供一种基于马尔可夫决策过程的起重机电子防摇系统，包括：

信息采集模块，用于获取起重机状态信息；

人工智能框架，用于对获取的起重机状态信息进行预处理，得到吊具的位姿信息、被吊物重量信息、风速风向信息、小车速度信息和小车加速度信息；

基于马尔可夫决策过程构建最优策略模型，将所述起重机状态信息输入至最优策略模型中输出动作策略，对最优策略模型进行预训练；

智能防摇模块，用于根据当前获取的起重机的状态信息输入至预训练的最优策略模型，得到起重机当前待执行动作策略；

电机控制模块，用于根据智能防摇模块输出的动作策略通过变频器控制电机的变速运行，实现起重机的电子防摇。

实施例三

本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

实施例四

本实施例的目的是提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。

以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于马尔可夫决策过程的起重机电子防摇方法，其特征在于，包括以下步骤：

获取起重机状态信息并基于人工智能框架进行预处理；

基于马尔可夫决策过程构建最优策略模型，将经过预处理后的起重机状态信息输入至最优策略模型中输出动作策略，对最优策略模型进行训练；

将当前获取的起重机的状态信息输入至训练好的最优策略模型，得到起重机当前待执行动作策略。

2.如权利要求1所述的一种基于马尔可夫决策过程的起重机电子防摇方法，其特征在于，所述起重机状态信息包括风速信息、小车速度、小车加速度信息、吊具位姿信息、被吊物重量信息。

3.如权利要求1所述的一种基于马尔可夫决策过程的起重机电子防摇方法，其特征在于，利用人工智能框架将吊具的位姿信息转换为摆动偏差和吊具高度，根据所述摆动偏差得到所对应的偏移范围和偏移方向，根据所述偏移范围和偏移方向组成吊具的偏移状态信息；将风速风向信息、被吊物重量信息、吊具的偏移信息、吊具高度分别进行划分后与小车加速度信息、小车速度信息共同构成状态空间。

4.如权利要求1所述的一种基于马尔可夫决策过程的起重机电子防摇方法，其特征在于，状态空间中每个状态对应不同的动作，不同的动作构成行为空间，起重机在某个状态s(t)下采取行为空间中的一个动作，转移到状态s(t+1)时，基于回报函数产生对应的回报，所述回报与当前的状态和采取的动作以及采取动作后进入的下一状态有关，根据产生的回报确定最优动作生成防摇指令。

5.如权利要求4所述的一种基于马尔可夫决策过程的起重机电子防摇方法，其特征在于，所述回报函数基于吊具下一状态的偏移角度和吊具处于安全偏移范围内的时间进行设置，回报函数值与吊具下一状态的偏移角度成反比，与吊具处于安全偏移范围内的时间成正比。

6.如权利要求1所述的一种基于马尔可夫决策过程的起重机电子防摇方法，其特征在于，在起重机整个起重过程中采取的防摇操作集合为一个策略，吊具处于某个初始状态，按照策略进行防摇操作，产生状态和行为的交替出现的轨迹，吊具从初始状态到轨迹结束获取的累积奖励的期望作为衡量吊具某一状态的价值函数。

7.如权利要求1所述的一种基于马尔可夫决策过程的起重机电子防摇方法，其特征在于，训练所述最优策略模型包括：

S1：初始化状态空间S、动作空间A、状态转移概率

立即回报函数

阻尼系数γ，初始化值函数v(s)＝0,迭代次数k＝0；

S2：使用高斯-赛德尔迭代算法进行求解，迭代公式为：

S3：对每一个状态s利用S2中公式进行计算；

S4：迭代次数加一；

S5：重复S3-S4，直到v_t+1＝v_t或者达到预期收敛值；

S6：得到状态价值函数和防摇动作。

8.一种基于马尔可夫决策过程的起重机电子防摇系统，其特征在于，包括：

信息采集模块，用于获取起重机状态信息；

人工智能框架，用于对获取的起重机状态信息进行预处理，得到吊具的位姿信息、被吊物重量信息、风速风向信息、小车速度信息和小车加速度信息；

基于马尔可夫决策过程构建最优策略模型，将所述起重机状态信息输入至最优策略模型中输出动作策略，对最优策略模型进行预训练；

智能防摇模块，用于根据当前获取的起重机的状态信息输入至预训练的最优策略模型，得到起重机当前待执行动作策略；

电机控制模块，用于根据智能防摇模块输出的动作策略通过变频器控制电机的变速运行，实现起重机的电子防摇。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时实现如权利要求1-7中任一项所述的一种基于马尔可夫决策过程的起重机电子防摇方法中的步骤。

10.一种处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种基于马尔可夫决策过程的起重机电子防摇方法中的步骤。

Images