CN113479727B - 一种施工升降机的控制系统、方法、装置及存储介质 - Google Patents

一种施工升降机的控制系统、方法、装置及存储介质 Download PDF

Info

Publication number
CN113479727B
CN113479727B CN202110625076.3A CN202110625076A CN113479727B CN 113479727 B CN113479727 B CN 113479727B CN 202110625076 A CN202110625076 A CN 202110625076A CN 113479727 B CN113479727 B CN 113479727B
Authority
CN
China
Prior art keywords
construction
time
construction elevator
hoist
construction hoist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110625076.3A
Other languages
English (en)
Other versions
CN113479727A (zh
Inventor
蔡长青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202110625076.3A priority Critical patent/CN113479727B/zh
Publication of CN113479727A publication Critical patent/CN113479727A/zh
Application granted granted Critical
Publication of CN113479727B publication Critical patent/CN113479727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00Control systems of elevators in general
    • B66B1/02Control systems without regulation, i.e. without retroactive action
    • B66B1/06Control systems without regulation, i.e. without retroactive action electric
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00Control systems of elevators in general
    • B66B1/34Details, e.g. call counting devices, data transmission from car to control system, devices giving information to the control system
    • B66B1/3415Control system configuration and the data transmission or communication within the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00Control systems of elevators in general
    • B66B1/34Details, e.g. call counting devices, data transmission from car to control system, devices giving information to the control system
    • B66B1/3476Load weighing or car passenger counting devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00Control systems of elevators in general
    • B66B1/34Details, e.g. call counting devices, data transmission from car to control system, devices giving information to the control system
    • B66B1/3492Position or motion detectors or driving means for the detector
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B1/00Control systems of elevators in general
    • B66B1/34Details, e.g. call counting devices, data transmission from car to control system, devices giving information to the control system
    • B66B1/46Adaptations of switches or switchgear
    • B66B1/468Call registering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B2201/00Aspects of control systems of elevators
    • B66B2201/20Details of the evaluation method for the allocation of a call to an elevator car
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B2201/00Aspects of control systems of elevators
    • B66B2201/40Details of the change of control mode
    • B66B2201/46Switches or switchgear

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Elevator Control (AREA)

Abstract

本发明公开了一种施工升降机的控制系统、方法、装置及存储介质,该系统包括远程寻呼机、中央组控制器、中央服务器、传感器和自动控制器;本发明中中央组控制器根据接收到的呼叫信号、呼叫楼层信息和施工升降机当前状态,利用DQN算法能够得到最优控制策略,在根据最优控制策略向相应的自动控制器发送相应的控制命令,使得相应自动控制器能够根据接收到的控制命令控制施工升降机的动作,进而可使施工升降机的总运输时间最小化,降低了乘客的等待时间和施工升降机的升降时间,有助于缩短工程进度,提高施工升降机的运输效率。本发明可广泛应用于施工升降机的控制技术领域。

Description

一种施工升降机的控制系统、方法、装置及存储介质
技术领域
本发明涉及施工升降机的控制技术领域,尤其是一种施工升降机的控制系统、方法、装置及存储介质。
背景技术
施工升降机又称为施工电梯,施工平台也属于施工升降机系列;单纯的施工电梯是由轿厢、驱动机构、标准节、附墙、底盘、围栏、电气系统等几部分组成,是建筑中经常使用的载人载货施工机械,由于其独特的箱体结构使其乘坐起来既舒适又安全,施工电梯在工地上通常是配合塔吊使用,一般载重量在1-3吨,运行速度为1-60M/min。
大多数建筑工地的施工升降机都是由操作人员凭直觉手动控制的;因此,当多台施工升降机同时运行和/或请求复杂的施工升降机呼叫时,通常会产生不必要的行程;这些行程增加了乘客的等待时间和升降时间,降低了施工升降机的升降性能。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种施工升降机的控制系统、方法、装置及存储介质。
本发明所采取的技术方案是:
一方面,本发明实施例包括一种施工升降机的控制系统,包括远程寻呼机、中央组控制器、中央服务器、传感器和自动控制器;
所述远程寻呼机用于获取第一信息,并将所述第一信息传送至所述中央服务器,所述第一信息包括呼叫信号和呼叫楼层信息;
所述传感器用于检测所述施工升降机当前状态,并将所述施工升降机当前状态传送至所述中央服务器,所述施工升降机当前状态包括所述施工升降机的当前重量、当前位置、当前运行方向和当前运行速度;
所述中央服务器用于识别所述第一信息和所述施工升降机当前状态,并将所述第一信息和所述施工升降机当前状态传送至所述中央组控制器;
所述中央组控制器用于根据所述第一信息和所述施工升降机当前状态,利用DQN算法得到最优控制策略,并根据所述最优控制策略向所述自动控制器发送控制命令;
所述自动控制器用于接收所述控制命令,并根据所述控制命令控制所述施工升降机的动作。
进一步地,所述系统还包括呼叫接收器,
所述中央服务器通过所述呼叫接收器接收所述第一信息。
进一步地,所述系统还包括远程发射器,
所述传感器通过所述远程发射器将所述施工升降机当前状态实时发送至所述中央服务器。
进一步地,所述中央组控制器包括:
接收模块,用于接收所述第一信息和所述施工升降机当前状态;
DQN算法模块,用于利用DQN算法得到最优控制策略;
发送模块,用于根据所述最优控制策略,向相应的自动控制器发送相应的控制命令。
进一步地,所述最优控制策略为在最小化所述施工升降机总运输时间的基础上,使奖励函数的累积值最大化;所述奖励函数表示为:
Figure BDA0003100675850000021
式中,rt表示奖励函数,kh表示当前在大厅等待的乘客人数,kc表示当前在施工升降机轿厢中等待的乘客人数,thi表示乘客i在大厅的等待时间,tcj表示乘客j在施工升降机轿厢中的等待时间,α和β均表示常量。
进一步地,所述最优控制策略通过对动作参数的最大化得到,所述最优控制策略通过以下函数表示:
Figure BDA0003100675850000022
式中,π*(x)表示最优控制策略函数,Qt(s,a)表示策略函数,s表示施工升降机当前状态,a表示施工升降机的动作,(s,a)表示状态行动对,S表示施工升降机当前状态集合,A表示施工升降机的动作集合;
其中,策略函数用Qπ(s,a)表示为:
Qπ(s,a)=Eπ{rt|st=s,at=a};式中,Qπ(s,a)表示策略函数,Eπ表示随机动态下的期望,rt是施工升降机在时间t采取行动后获得的奖励,π是施工升降机在时间t时采取的行为,st是施工升降机在时间t时的状态,at是施工升降机在时间t时的动作,s表示施工升降机当前状态,a表示施工升降机的动作。
进一步地,所述DQN算法为将强化学习与人工神经网络相结合的算法,在更新所述人工神经网络时,使用损失函数计算预测值和实际值之间的差值;其中,
所述预测值表示为:Ws=Q(st,at|θ);式中,Ws表示预测值,Q(st,at|θ)表示实际值,θ表示神经网络的参数,st是施工升降机在时间t时的状态,at是施工升降机在时间t时的动作;
所述实际值表示为:
Figure BDA0003100675850000031
式中,/>
Figure BDA0003100675850000032
表示实际值,r表示激励,γ表示折扣系数,/>
Figure BDA0003100675850000033
表示更新的实际值,/>
Figure BDA0003100675850000034
表示神经网络的参数的共轭,st是施工升降机在时间t时的状态,at是施工升降机在时间t时的动作,st+1是施工升降机在时间t+1时的状态,at+1是施工升降机在时间t+1时的动作;
所述损失函数表示为:
Figure BDA0003100675850000035
L(θ)表示损失函数,/>
Figure BDA0003100675850000039
表示指数损失函数,D表示范围,st是施工升降机在时间t时的状态,at是施工升降机在时间t时的动作,st+1是施工升降机在时间t+1时的状态,at+1是施工升降机在时间t+1时的动作,r表示激励,γ表示折扣系数,/>
Figure BDA0003100675850000036
表示更新的实际值,θ表示神经网络的参数,/>
Figure BDA0003100675850000037
表示神经网络的参数的共轭,/>
Figure BDA0003100675850000038
表示实际值。
另一方面,本发明实施例还包括一种施工升降机的控制方法,包括:
远程寻呼机获取第一信息,并将所述第一信息传送至中央服务器,所述第一信息包括呼叫信号和呼叫楼层信息;
传感器检测所述施工升降机当前状态,并将所述施工升降机当前状态传送至所述中央服务器,所述施工升降机当前状态包括所述施工升降机的当前重量、当前位置、当前运行方向和当前运行速度;
所述中央服务器识别所述第一信息和所述施工升降机当前状态,并将所述第一信息和所述施工升降机当前状态传送至中央组控制器;
所述中央组控制器根据所述第一信息和所述施工升降机当前状态,利用DQN算法得到最优控制策略,并根据所述最优控制策略向所述自动控制器发送控制命令;
自动控制器接收所述控制命令,并根据所述控制命令控制所述施工升降机的动作。
另一方面,本发明实施例还包括一种施工升降机的控制装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现所述的施工升降机的控制方法。
另一方面,本发明实施例还包括计算机可读存储介质,其上存储有处理器可执行的程序,所述处理器可执行的程序在被处理器执行时用于实现所述的施工升降机的控制方法
本发明的有益效果是:
本发明施工升降机的控制系统,包括远程寻呼机、中央组控制器、中央服务器、传感器和自动控制器;本发明中中央组控制器根据接收到的呼叫信号、呼叫楼层信息和施工升降机当前状态,利用DQN算法能够得到最优控制策略,在根据最优控制策略向相应的自动控制器发送相应的控制命令,使得相应自动控制器能够根据接收到的控制命令控制施工升降机的动作,进而可使施工升降机的总运输时间最小化,降低了乘客的等待时间和施工升降机的升降时间,有助于缩短工程进度,提高施工升降机的运输效率。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例所述施工升降机的控制系统的结构示意图;
图2为本发明实施例所述DQN学习框架图;
图3为本发明实施例所述DQN模型示意图;
图4为本发明实施例所述DQN架构图;
图5为本发明实施例所述施工升降机的控制系统的工作流程图;
图6为本发明实施例所述施工升降机的控制方法放入步骤流程图;
图7为本发明实施例所述施工升降机的控制装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,涉及到方位描述,例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
下面结合附图,对本申请实施例作进一步阐述。
参照图1,本发明实施例提供一种施工升降机的控制系统100,包括远程寻呼机101、中央组控制器102、中央服务器103、传感器104和自动控制器105;
远程寻呼机101用于获取第一信息,并将第一信息传送至中央服务器103,第一信息包括呼叫信号和呼叫楼层信息;
传感器104用于检测施工升降机当前状态,并将施工升降机当前状态传送至中央服务器103,施工升降机当前状态包括施工升降机的当前重量、当前位置、当前运行方向和当前运行速度;
中央服务器103用于识别第一信息和施工升降机当前状态,并将第一信息和施工升降机当前状态传送至中央组控制器102;
中央组控制器102用于根据第一信息和施工升降机当前状态,利用DQN算法得到最优控制策略,并根据所述最优控制策略向所述自动控制器105发送控制命令;
自动控制器105用于接收控制命令,并根据控制命令控制施工升降机的动作。
本实施例中,远程寻呼机安装在施工大楼的每个楼层,用于将乘客的呼叫信号(上升或下降)和呼叫楼层信息实时传送到中央服务器,以请求调度施工升降机,中央服务器中安装了一个呼叫接收器,该呼叫接收器在没有附加网络设备的情况下从最远500米处可接收到呼叫信号和呼叫楼层信息,每个施工升降机都安装有一个传感器和一个自动控制器,传感器用于检测施工升降机当前状态,包括施工升降机的容量(如允许重量)、位置(如地板)、分配的呼叫和运行状态(如方向、速度)等,传感器收集施工升降机构的当前状态(重量、位置、方向和速度),并通过远程发射器实时发送到中央服务器;中央服务器接收到呼叫信号、呼叫楼层信息和施工升降机的当前状态后,实时发送给中央组控制器,中央组控制器可以远程控制所有施工升降机的动作,中央组控制器将接收到的呼叫信号、呼叫楼层信息和施工升降机的当前状态发送给DQN算法模块,由DQN算法模块进行处理,得到最优控制策略,然后,中央组控制器根据最优控制策略,向相应的自动控制器发送相应的控制命令,以让自动控制器根据接收到的控制命令,控制施工升降机的动作;通过这个过程,施工升降机可以自主操作,也就是说,施工升降机可在无人工操作的情况下自动上升、停止和下降。
本实施例中,利用DQN算法得到最优控制策略尤为重要,最优控制策略为最小化施工升降机总运输时间,或者说最小化乘客的总运输时间(即等待时间和升降时间),这是广泛使用的施工升降机性能指标。等待时间是指乘客在呼叫施工升降机后,在登机前等待的时间,升降时间是指乘客登上施工升降机的轿厢后到达目的楼层所需的时间。最优控制策略是指基于施工升降机状态的施行的施工升降机顺序动作(上升、停止和下降)。
本实施例中,提出一种DQN算法,其是一种将强化学习与人工神经网络相结合的算法,与以往的控制算法相比,DQN算法在复杂的实际升降控制环境中,能提供更好的控制策略,使乘客的等待时间和升降时间减少86.7%。参照图2,将DQN学习框架应用于控制系统,DQN学习框架是一种Q-学习算法和深度神经网络的集成,DQN(深度Q-网络)是DRL中应用最广泛的方法之一,在视频游戏、机器人控制和运输中均能表现出良好的性能,在这个DQN学习框架中,一个人工智能体与一个虚拟施工升降机模拟器(环境)交互,人工智能体观察虚拟施工升降机模拟器的状态,并采取一系列动作(控制)以获得最大的回报。然后,基于这些操作的结果更新深度神经网络(DNN)的参数和策略函数;该过程中,各变量定义如下:
a)状态(st)是描述在时间t的某个特定情况下的状态信息,它影响接下来可能发生的事情(st+1);在施工升降机的控制系统中,大厅呼叫(即等待在建筑物内的乘客的升降机呼叫)、升降机位置(楼层)、升降机当前重量(容量)、轿厢呼叫(即升降机乘客的目的楼层呼叫)和速度等均是状态;
b)动作(at)是代理(人工智能体)在时间t所做的动作,如上一层楼或下一层楼或停车接送乘客等;
c)策略(π(st))是施工升降机在时间t时的行为,根据策略π,确定施工升降机的升降动作;
d)奖励(rt)是在时间t采取行动后获得的奖励。
参照图3,本实施例中,在DQN模型中,当施工升降机到达建筑物的每一层时,代理会观察到一个新的状态。施工升降机的状态包括四个变量,如图3所示:1)CH m:来自m层的大厅呼叫(向上或向下)请求;2)CC m:所有施工升降机向m层发出的轿厢呼叫(目的楼层)请求;3)hn:施工升降机n的当前位置(楼层);4)vn:施工升降机n的速度(方向和速度),5)wn:施工升降机n的当前重量(容量)。
DQN算法的目标是找到一个最优控制策略,将所有乘客尽快运送到他们想要的楼层(即,最小化总运输时间)。DQN代理与施工升降机模拟器交互,该施工升降机模拟器是一个模拟真实升降环境的虚拟仿真环境,并为其行为获得适当的奖励。代理的目标是在最小化乘客总运输时间的基础上,使累积奖励最大化。为了学习策略,本实施例设计了两个奖励函数。首先,施工升降机在接送乘客时会获得正奖励。此时,奖励的大小与乘客的等待时间成反比;第二,当乘客到达目的楼层时,施工升降机获得的奖励比前一个楼层更大,而且与乘客的升降时间成反比。通过给予与时间成反比的奖励,代理可以找到使乘客的等待和升降时间最小化的策略。在时间步t,代理直接测量环境的状态st,根据策略π(st)采取相应行动at;然后,环境根据其随机动力学转换到一个新的状态:由于在状态st中的行为会影响在st+1中结束的概率,同时,代理基于状态转换的质量收到奖励rt+1=ρ(st,at,st+1);代理的目标是使奖励函数的累积值最大化,奖励函数可以表示为:
Figure BDA0003100675850000071
(1);式中,rt表示奖励函数,kh表示当前在大厅等待的乘客人数,kc表示当前在施工升降机轿厢中等待的乘客人数,thi表示乘客i在大厅的等待时间,tcj表示乘客j在施工升降机轿厢中的等待时间,α和β均表示常量。本实施例中,β大于α,以使得在运送乘客到目的楼层时给予比接送新乘客更多的奖励。
本实施例中,每一步的最优控制策略都可以实现奖励的最大化,策略(π(st))用Qπ(s,a)表示为:
Qπ(s,a)=Eπ{rt|St=s,at=a};式中,Eπ表示随机动态下的期望,rt是施工升降机在时间t采取行动后获得的奖励,π是施工升降机在时间t时采取的行为,St是施工升降机在时间t时的状态,at是施工升降机在时间t时的动作。
本实施例中,如果中央组控制器使用策略π(st);最优值函数Q*(s,a)定义为Qπ(s,a)的最大值;如果最优值函数Q*(s,a)已知,则最优控制策略可通过对动作参数的最大化得到:
Figure BDA0003100675850000081
式中,π*(x)表示最优控制策略函数,Qt(s,a)表示策略函数,s表示施工升降机当前状态,a表示施工升降机的动作,(s,a)表示状态行动对,S表示施工升降机当前状态集合,A表示施工升降机的动作集合;
该最优值函数Q*(s,a)也遵循递归贝尔曼最优关系,表示为:
Figure BDA0003100675850000082
(4),式中,γ是折扣系数,它在0和1之间变化,量化了未来奖励的重要性;r(st,at)表示激励,f(st,at,st+1)表示放大系数,Q*(st+1,at+1)表示实际值,st是施工升降机在时间t时的状态,at是施工升降机在时间t时的动作,st+1表示在时间t+1时的状态,at+1表示在时间t+1时的动作,S表示施工升降机当前状态集合,A表示施工升降机的动作集合,
本实施例中,要学习此Q函数,DQN算法会重复执行以下操作:
1)选择给定状态下的操作;
2)收集奖励rt并观察新状态st+1
3)使用最新经验(st at st+1 at+1)更新Q函数。
DQN算法根据与环境的交互作用,使用如下更新公式迭代估计Q*(s,a):
Figure BDA0003100675850000083
(5);式中,rt+1表示从模拟器观察到的奖励值,αt是时间t的学习率,Qt+1(st,at)表示实际值,Qt(st,at)表示在时间t时的策略函数,γ表示折扣系数,
DQN是一种将强化学习与人工神经网络相结合的算法,当输入当前状态时,输出所有可能动作的预定Q值。在更新人工神经网络时,使用损失函数来计算预测值和实际值之间的差值。然而,损失可能不会收敛,因为这两个值使用相同的参数,每次更新神经网络的权值时,这些参数都会发生变化。这个问题可以通过使用分离网络和重放存储器来解决。因此,DQN模型使用两个DNN、
Figure BDA0003100675850000084
以及θ构成,其中,第一个DNN是目标网络,用于检索实际Q值;第二个DNN是主干网络,用于预测和训练;本实施例中,预测值Ws、实际值/>
Figure BDA0003100675850000085
和损失函数L(θ)分别用公式(6)、(7)、(8)表示。
Ws=Q(st,at|θ)(6);式中,Ws表示预测值,Q(st,at|θ)表示实际值,θ表示神经网络的参数,st是施工升降机在时间t时的状态,at是施工升降机在时间t时的动作;
Figure BDA0003100675850000091
(7);式中,/>
Figure BDA0003100675850000092
表示实际值,r表示激励,γ表示折扣系数,/>
Figure BDA0003100675850000093
表示更新的实际值,/>
Figure BDA0003100675850000094
表示神经网络的参数的共轭,st是施工升降机在时间t时的状态,at是施工升降机在时间t时的动作,st+1是施工升降机在时间t+1时的状态,at+1是施工升降机在时间t+1时的动作;
Figure BDA0003100675850000095
(8);式中,L(θ)表示损失函数,/>
Figure BDA0003100675850000099
表示指数损失函数,D表示范围,st是施工升降机在时间t时的状态,at是施工升降机在时间t时的动作,st+1是施工升降机在时间t+1时的状态,at+1是施工升降机在时间t+1时的动作,r表示激励,γ表示折扣系数,/>
Figure BDA0003100675850000096
表示更新的实际值,θ表示神经网络的参数,/>
Figure BDA0003100675850000097
表示神经网络的参数的共轭,/>
Figure BDA0003100675850000098
表示实际值。
本实施例中,将DRL应用于施工升降机控制系统,虚拟仿真环境是必不可少的,因为DRL训练需要大量的施工升降机操作记录数据,而在真实的施工环境中,施工升降机是由具有主观经验和有限经验的操作员控制,很难收集到这些数据。在这个虚拟仿真器中,可以同时操作多台施工升降机来学习协同控制策略。这样的模拟器创建复杂的综合升降调用和各种升降状态,在不同但现实的环境中教给代理更多不同和复杂的控制策略。模拟器根据代理的控制行为对乘客的总运输时间进行评估,并给出相应的奖励。该虚拟空间中使用的DQN代理用于存储学习模型,并可根据不同的施工升降机操作场景测试其提升性能。
在本实施例中,控制系统的DQN架构如图4所示。利用二维矩阵对大厅呼叫和轿厢呼叫的状态进行预处理,并将其转化为输入变量;DQN有三层,每层由24、24和3个隐藏节点组成,并串联连接。在每一层之间使用整流线性单元(ReLU)层作为激活层,以提供非线性特性;另外,在状态值中共取80个输入节点作为输入数据;此DQN架构采用当前系统的状态,但它仍适用于不同的控制系统设置。如果要在其他控制系统设置中使用,输入节点必须考虑新控制系统的状态。因此,利用输入节点的灵活操作,该DQN架构对不同的系统具有通用性。
DRL应用程序的大多数示例在游戏、模拟环境和小型玩具问题中都能正常工作。这些应用程序提供了有用的算法解决方案,但在大规模实际系统中部署DRL需要其他独特的考虑。例如,DRL需要实时观察当前代理的状态来决定下一个动作,但由于硬件(如传感器)的障碍,在实际应用中很少得到满足。特别是在施工升降机构的情况下,如果没有基于DQN算法监测和控制施工升降机构的硬件设备,就很难讨论DQN算法的实用性。本实施例开发了DQN算法在实际应用中所需的所有硬件单元,以完成一个自主控制系统,并实际验证了所开发的DQN学习框架。基于DQN算法监测和控制施工升降机构的硬件设备包括远程寻呼机、中央组控制器、中央服务器、传感器和自动控制器。
本实施例中,参照图5,施工升降机的控制系统的工作流程如下:
(1)安装在大楼每个楼层的远程寻呼机(大厅呼叫寻呼机)将乘客的呼叫信号(上升或下降)和呼叫楼层信息传送到中央服务器,以请求调度施工升降机;
(2)传感器检测施工升降机当前状态,并将检测到的施工升降机当前状态传送至中央服务器;
(3)中央服务器将接收到的呼叫信号、呼叫楼层信息和施工升降机当前状态发送至中央组控制器;
(4)中央组控制器根据接收到的信息,调用DQN算法模块进行处理,得到最优控制策略,然后根据最优控制策略,向相应的自动控制器发送相应的控制命令;
(5)自动控制器根据接收到的控制命令,控制施工升降机的动作。
本发明实施例一种施工升降机的控制系统具有以下技术效果:
本发明实施例施工升降机的控制系统,包括远程寻呼机、中央组控制器、中央服务器、传感器和自动控制器;本发明中中央组控制器根据接收到的呼叫信号、呼叫楼层信息和施工升降机当前状态,利用DQN算法能够得到最优控制策略,在根据最优控制策略向相应的自动控制器发送相应的控制命令,使得相应自动控制器能够根据接收到的控制命令控制施工升降机的动作,进而可使施工升降机的总运输时间最小化,降低了乘客的等待时间和施工升降机的升降时间,有助于缩短工程进度,提高施工升降机的运输效率。
另一方面,参照图6,本发明实施例还提供一种施工升降机的控制方法,包括但不限于以下步骤:
S1.远程寻呼机获取第一信息,并将第一信息传送至中央服务器,第一信息包括呼叫信号和呼叫楼层信息;
S2.传感器检测施工升降机当前状态,并将施工升降机当前状态传送至中央服务器,施工升降机当前状态包括施工升降机的当前重量、当前位置、当前运行方向和当前运行速度;
S3.中央服务器识别第一信息和施工升降机当前状态,并将第一信息和施工升降机当前状态传送至中央组控制器;
S4.中央组控制器根据第一信息和施工升降机当前状态,利用DQN算法得到最优控制策略,并根据所述最优控制策略向所述自动控制器发送控制命令;
S5.自动控制器接收控制命令,并根据控制命令控制施工升降机的动作。
参照图7,本发明实施例还提供了一种施工升降机的控制装置200,具体包括:
至少一个处理器210;
至少一个存储器220,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器210执行,使得所述至少一个处理器210实现如图6所示的方法。
其中,存储器220作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序以及非暂态性计算机可执行程序。存储器220可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器220可选包括相对于处理器210远程设置的远程存储器,这些远程存储器可以通过网络连接至处理器210。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
可以理解到,图7中示出的装置结构并不构成对装置200的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图7所示的装置200中,处理器210可以调取存储器220中储存的程序,并执行但不限于图6所示实施例的步骤。
以上所描述的装置200实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现实施例的目的。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有处理器可执行的程序,所述处理器可执行的程序在被处理器执行时用于实现如图6所示的方法。
本申请实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行图6所示的方法。
可以理解的是,上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (9)

1.一种施工升降机的控制系统,其特征在于,包括远程寻呼机、中央组控制器、中央服务器、传感器和自动控制器;
所述远程寻呼机用于获取第一信息,并将所述第一信息传送至所述中央服务器,所述第一信息包括呼叫信号和呼叫楼层信息;
所述传感器用于检测施工升降机当前状态,并将所述施工升降机当前状态传送至所述中央服务器,所述施工升降机当前状态包括所述施工升降机的当前重量、当前位置、当前运行方向和当前运行速度;
所述中央服务器用于识别所述第一信息和所述施工升降机当前状态,并将所述第一信息和所述施工升降机当前状态传送至所述中央组控制器;
所述中央组控制器用于根据所述第一信息和所述施工升降机当前状态,利用DQN算法得到最优控制策略,并根据所述最优控制策略向所述自动控制器发送控制命令;
所述自动控制器用于接收所述控制命令,并根据所述控制命令控制所述施工升降机的动作;
所述DQN算法为将强化学习与人工神经网络相结合的算法,在更新所述人工神经网络时,使用损失函数计算预测值和实际值之间的差值;其中,
所述预测值表示为:Ws=Q(st,at|θ);式中,Ws表示预测值,Q(st,at|θ)表示实际值,θ表示神经网络的参数,st是施工升降机在时间t时的状态,at是施工升降机在时间t时的动作;
所述实际值表示为:
Figure FDA0004051931230000011
式中,/>
Figure FDA0004051931230000012
表示实际值,r表示激励,γ表示折扣系数,/>
Figure FDA0004051931230000013
表示更新的实际值,/>
Figure FDA0004051931230000014
表示神经网络的参数θ的共轭,st是施工升降机在时间t时的状态,at是施工升降机在时间t时的动作,st+1是施工升降机在时间t+1时的状态,at+1是施工升降机在时间t+1时的动作;
所述损失函数表示为:
Figure FDA0004051931230000015
式中,L(θ)表示损失函数,/>
Figure FDA0004051931230000016
表示指数损失函数,D表示范围,st是施工升降机在时间t时的状态,at是施工升降机在时间t时的动作,st+1是施工升降机在时间t+1时的状态,at+1是施工升降机在时间t+1时的动作,r表示激励,γ表示折扣系数,/>
Figure FDA0004051931230000017
表示更新的实际值,θ表示神经网络的参数,/>
Figure FDA0004051931230000018
表示神经网络的参数的共轭,/>
Figure FDA0004051931230000019
表示实际值。
2.根据权利要求1所述的一种施工升降机的控制系统,其特征在于,所述系统还包括呼叫接收器,
所述中央服务器通过所述呼叫接收器接收所述第一信息。
3.根据权利要求1所述的一种施工升降机的控制系统,其特征在于,所述系统还包括远程发射器,
所述传感器通过所述远程发射器将所述施工升降机当前状态实时发送至所述中央服务器。
4.根据权利要求1所述的一种施工升降机的控制系统,其特征在于,所述中央组控制器包括:
接收模块,用于接收所述第一信息和所述施工升降机当前状态;
DQN算法模块,用于利用DQN算法得到最优控制策略;
发送模块,用于根据所述最优控制策略,向相应的自动控制器发送相应的控制命令。
5.根据权利要求4所述的一种施工升降机的控制系统,其特征在于,所述最优控制策略为在最小化所述施工升降机总运输时间的基础上,使奖励函数的累积值最大化;所述奖励函数表示为:
Figure FDA0004051931230000021
式中,rt表示奖励函数,kh表示当前在大厅等待的乘客人数,kc表示当前在施工升降机轿厢中等待的乘客人数,thi表示乘客i在大厅的等待时间,tcj表示乘客j在施工升降机轿厢中的等待时间,α和β均表示常量。
6.根据权利要求5所述的一种施工升降机的控制系统,其特征在于,所述最优控制策略通过对动作参数的最大化得到,所述最优控制策略通过以下函数表示:
Figure FDA0004051931230000022
式中,π*(x)表示最优控制策略函数,Qt(s,a)表示策略函数,s表示施工升降机当前状态,a表示施工升降机的动作,(s,a)表示状态行动对,S表示施工升降机当前状态集合,A表示施工升降机的动作集合;
其中,策略函数Qt(s,a)用Qπ(s,a)表示为:
Qπ(s,a)=Eπ{rt|st=s,at=a};式中,Qπ(s,a)表示策略函数,Eπ表示随机动态下的期望,rt是施工升降机在时间t采取行动后获得的奖励,π是施工升降机在时间t时采取的行为,st是施工升降机在时间t时的状态,at是施工升降机在时间t时的动作,s表示施工升降机当前状态,a表示施工升降机的动作。
7.一种施工升降机的控制方法,其特征在于,包括:
远程寻呼机获取第一信息,并将所述第一信息传送至中央服务器,所述第一信息包括呼叫信号和呼叫楼层信息;
传感器检测施工升降机当前状态,并将所述施工升降机当前状态传送至所述中央服务器,所述施工升降机当前状态包括所述施工升降机的当前重量、当前位置、当前运行方向和当前运行速度;
所述中央服务器识别所述第一信息和所述施工升降机当前状态,并将所述第一信息和所述施工升降机当前状态传送至中央组控制器;
所述中央组控制器根据所述第一信息和所述施工升降机当前状态,利用DQN算法得到最优控制策略,并根据所述最优控制策略向自动控制器发送控制命令;
自动控制器接收所述控制命令,并根据所述控制命令控制所述施工升降机的动作;
所述DQN算法为将强化学习与人工神经网络相结合的算法,在更新所述人工神经网络时,使用损失函数计算预测值和实际值之间的差值;其中,
所述预测值表示为:Ws=Q(st,at|θ);式中,Ws表示预测值,Q(st,at|θ)表示实际值,θ表示神经网络的参数,st是施工升降机在时间t时的状态,at是施工升降机在时间t时的动作;
所述实际值表示为:
Figure FDA0004051931230000031
式中,/>
Figure FDA0004051931230000032
表示实际值,r表示激励,γ表示折扣系数,/>
Figure FDA0004051931230000033
表示更新的实际值,/>
Figure FDA0004051931230000034
表示神经网络的参数θ的共轭,st是施工升降机在时间t时的状态,at是施工升降机在时间t时的动作,st+1是施工升降机在时间t+1时的状态,at+1是施工升降机在时间t+1时的动作;
所述损失函数表示为:
Figure FDA0004051931230000035
式中,L(θ)表示损失函数,/>
Figure FDA0004051931230000036
表示指数损失函数,D表示范围,st是施工升降机在时间t时的状态,at是施工升降机在时间t时的动作,st+1是施工升降机在时间t+1时的状态,at+1是施工升降机在时间t+1时的动作,r表示激励,γ表示折扣系数,/>
Figure FDA0004051931230000037
表示更新的实际值,θ表示神经网络的参数,/>
Figure FDA0004051931230000041
表示神经网络的参数的共轭,/>
Figure FDA0004051931230000042
表示实际值。
8.一种施工升降机的控制装置,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求7所述的方法。
9.计算机可读存储介质,其特征在于,其上存储有处理器可执行的程序,所述处理器可执行的程序在被处理器执行时用于实现如权利要求7所述的方法。
CN202110625076.3A 2021-06-04 2021-06-04 一种施工升降机的控制系统、方法、装置及存储介质 Active CN113479727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110625076.3A CN113479727B (zh) 2021-06-04 2021-06-04 一种施工升降机的控制系统、方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110625076.3A CN113479727B (zh) 2021-06-04 2021-06-04 一种施工升降机的控制系统、方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113479727A CN113479727A (zh) 2021-10-08
CN113479727B true CN113479727B (zh) 2023-03-31

Family

ID=77934688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110625076.3A Active CN113479727B (zh) 2021-06-04 2021-06-04 一种施工升降机的控制系统、方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113479727B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024017744A1 (en) 2022-07-19 2024-01-25 Inventio Ag Method for training multiple artificial neural networks to assign calls to cars of an elevator
WO2024017747A1 (en) 2022-07-19 2024-01-25 Inventio Ag Method for training an artificial neural network to estimate control commands for controlling an elevator
CN115676539B (zh) * 2023-01-03 2023-04-25 常熟理工学院 基于物联网的高层电梯协同调度方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6672431B2 (en) * 2002-06-03 2004-01-06 Mitsubishi Electric Research Laboratories, Inc. Method and system for controlling an elevator system
FI120301B (fi) * 2007-11-26 2009-09-15 Kone Corp Hissijärjestelmä
WO2014108594A2 (en) * 2013-01-09 2014-07-17 Kone Corporation/Patent Department Method and system for modernizing an elevator installation
CN203127934U (zh) * 2013-03-13 2013-08-14 上海睿技土木工程咨询有限公司 施工升降机智能控制装置
CN104709785B (zh) * 2015-03-20 2016-08-24 中建三局集团有限公司 智能群控调度及安全控制系统及实施方法
US11062207B2 (en) * 2016-11-04 2021-07-13 Raytheon Technologies Corporation Control systems using deep reinforcement learning
CN110065855B (zh) * 2019-04-21 2024-01-23 苏州科技大学 多轿厢电梯控制方法及控制系统
CN111324839B (zh) * 2020-02-20 2021-07-27 盈嘉互联(北京)科技有限公司 建筑大数据缓存方法及装置
CN111487864B (zh) * 2020-05-14 2023-04-18 山东师范大学 一种基于深度强化学习的机器人路径导航方法及系统

Also Published As

Publication number Publication date
CN113479727A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN113479727B (zh) 一种施工升降机的控制系统、方法、装置及存储介质
US7599762B2 (en) Model-based control for crane control and underway replenishment
CN108594804B (zh) 基于深度q网络配送小车的自动行驶控制方法
Lee et al. Autonomous construction hoist system based on deep reinforcement learning in high-rise building construction
CN111753468B (zh) 基于深度强化学习的电梯系统自学习最优控制方法及系统
CN108569603A (zh) 电梯用检查装置、电梯用检查系统、其制造方法和终端装置
CN103803362B (zh) 电梯群管理系统
AU2012201252A1 (en) Communication technique by which an autonomous guidance system controls an industrial vehicle
CN113703472B (zh) 多无人机与车辆协同巡检的路径优化方法和装置
CN110414895A (zh) 车辆调度系统及方法
GB2246210A (en) Elevator control apparatus
CN107419940A (zh) 一种快速取车系统及方法
WO2021044720A1 (ja) 制御プラットフォーム、制御システム、サービス提供システム、サービス提供方法及び制御方法
CN110654807B (zh) 物料运输系统及其控制方法
CN116629424A (zh) 新型集装箱堆场作业模式的自动化双场桥智能调度方法
CN110642148A (zh) 一种无人驾驶塔机的控制系统及控制方法
CN116187611B (zh) 一种多智能体路径规划方法及终端
CN108280518A (zh) 一种分布式环境机器人及车辆移动互联运载方法与系统
CN115359656B (zh) 一种自动化集装箱码头堆场端交互区车道分配方法
CN115202308A (zh) 一种快速适配的agv调度方法
US20220043463A1 (en) Multi-intelligent-agent cooperated transportation method, system and computer readable storage medium
CN113093751B (zh) 一种机器人等电梯的位置控制方法、装置及存储介质
CN115187101A (zh) 一种自动驾驶网约车运营方法、装置及设备
CN113256218A (zh) 一种机器人楼宇间轨道运输以及设备
WO2024090321A1 (ja) 制御方法、制御装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant