CN111563825A - 管理装置以及管理系统 - Google Patents

管理装置以及管理系统 Download PDF

Info

Publication number
CN111563825A
CN111563825A CN202010090327.8A CN202010090327A CN111563825A CN 111563825 A CN111563825 A CN 111563825A CN 202010090327 A CN202010090327 A CN 202010090327A CN 111563825 A CN111563825 A CN 111563825A
Authority
CN
China
Prior art keywords
power consumption
data
industrial machines
stop time
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010090327.8A
Other languages
English (en)
Inventor
山口晃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN111563825A publication Critical patent/CN111563825A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32021—Energy management, balance and limit power to tools
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32258—Resource, machine assignment preferences, actual and anticipated load
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P70/00—Climate change mitigation technologies in the production process for final industrial or consumer products
    • Y02P70/10—Greenhouse gas [GHG] capture, material saving, heat recovery or other energy efficient measures, e.g. motor control, characterised by manufacturing processes, e.g. for rolling metal or metal working
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Mathematical Physics (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Numerical Control (AREA)

Abstract

本发明提供一种管理装置以及管理系统。管理装置(1)具备：数据取得部(34)，其至少收集与从上述电源设备向上述多个工业机械供给的消耗电力相关的数据；预处理部(36)，其根据收集到的数据生成消耗电力数据；意图决定部(120)，其根据消耗电力数据，参照使向多个工业机械分配预先确定的合计停止时间的分配行为的价值与多个工业机械的消耗电力的状态关联起来所得的学习模型，决定与当前的多个工业机械的消耗电力的状态对应地向多个工业机械分配预先确定的合计停止时间的分配行为；停止时间分配部(38)，其对多个工业机械进行停止时间的分配。

Description

管理装置以及管理系统
技术领域
本发明涉及管理装置以及管理系统。
背景技术
设置在工厂等制造现场的机床、注射成形机、机器人等多个工业机械根据来自控制该工业机械的独立的控制装置的指令而运转。这些多个工业机械与预定的电源设备连接，消耗从其供给的电力而运转(例如专利文献1)。这时，如果多个工业机械中在大致相同的定时执行消耗很多电力那样的指令，则多个工业机械中的消耗电力的合计超过电源设备的电源容量，由此产生电力不足，工业机械变得无法充分动作。
在工业机械的运转中，在驱动工业机械的伺服电动机的加速时消耗电力，在伺服电动机的减速时产生电力。在相同定时下动作的工业机械之间利用通过这样的再生而产生的再生电力。即，在存在多个工业机械的情况下，在某工业机械消耗电力的定时，其他工业机械进行电力再生，能够减少多个工业机械的运转所需要的消耗电力的合计。另外，多个工业机械的运转所需要的消耗电力的合计减少，由此能够降低电源设备的容量、减少电源路径的发热(电力消耗)(例如日本特开2017-162300号公报)。
工业机械与机床、运输装置、机器人等各自的目的配合来进行一连串的动作。将某工业机械中与电力消耗相关的动作和其他工业机械中与电力再生相关的动作个别地统一定时是困难的。工业机械根据控制装置执行的控制用程序的指令独立地动作，因此难以进行管理使得减小多个工业机械的平均电力的合计值。
发明内容
因此，希望一种管理装置和管理系统，其与多个工业机械的动作状态对应地减少作为整体消耗的平均电力的合计值。
本发明的一个方式的管理装置向与一个电源设备连接的多个工业机械分配预先设定的合计停止时间，使各工业机械的一连串动作(例如通过一个控制用程序指示的一连串动作等)开始的定时错开，由此试着针对各工业机械的动作状态，使作为该工业机械的动作整体而消耗的平均电力最小化。本发明的一个方式的管理装置利用机器学习试错地学习这样的合计休息时间的分配。
另外，本发明的一个方式是一种管理装置，其针对从电源设备供给电力的多个工业机械的各个，决定在该工业机械的一连串动作之后该工业机械停止动作的时间，该管理装置具备：数据取得部，其至少收集与从电源设备向多个工业机械供给的消耗电力相关的数据；预处理部，其根据数据取得部收集的数据，生成表示与在预定时间的期间对多个工业机械供给的消耗电力相关的信息的消耗电力数据；学习模型存储部，其存储使向多个工业机械分配预先确定的合计停止时间的分配行为的价值与多个工业机械的消耗电力的状态关联起来所得的学习模型；意图决定部，其根据预处理部生成的消耗电力数据，决定使用存储在学习模型存储部中的学习模型进行的与当前的上述多个工业机械的消耗电力的状态对应地向上述多个工业机械分配预先确定的合计停止时间的分配行为；停止时间分配部，其基于意图决定部的决定，对多个工业机械进行合计停止时间的分配。
本发明的另一个方式是一种管理系统，由多个管理装置经由网络相互连接而成，该管理系统能够在多个工厂设备的管理装置之间共享学习部的学习结果。
附图说明
图1是一个实施方式的管理装置的概要硬件结构图。
图2是第一实施方式的管理装置的概要框图。
图3是说明工业机械的电力消耗和电力再生的图。
图4是概要地表示一个实施方式的管理系统的动作环境的图。
图5是第二实施方式的管理系统的框图。
图6是表示多个管理系统动作的系统的图。
具体实施方式
以下，与附图一起说明本发明的实施方式。
图1是表示本发明的一个实施方式的管理装置的主要部分的硬件结构图。可以作为控制工业机械的控制装置来实现本实施方式的管理装置1。另外，可以作为与控制工业机械的控制装置一起设置的个人计算机、经由网络与控制工业机械的控制装置连接的单元计算机、雾计算机、云服务器等计算机来实现管理装置1。在本实施方式中，表示作为控制工业机械的控制装置而实现管理装置1的情况的例子。
本实施方式的管理装置1具备的CPU11是整体地控制管理装置1的处理器。CPU11读出存储在经由总线22连接的ROM12中的系统程序，依照该系统程序控制管理装置1整体。在RAM13中存储临时的计算数据、用于显示到显示装置70的显示数据、工作人员经由示教操作盘60、输入装置71输入的各种数据等。
非易失性存储器14例如由被未图示的电池备份的存储器、SSD(固态驱动器)等构成，构成为即使管理装置1的电源切断也保持存储状态的存储器。在非易失性存储器14中，存储用于存储与管理装置1的动作相关的设定信息的设定区域、经由各接口19从输入装置71或示教操作盘60输入的数据、经由未图示的接口输入的控制用程序、经由网络5从处于管理装置1的管理下的工业机械2、4或电源设备3取得的各种数据(在各工业机械2中执行的控制程序、从电源设备3取得的在预定时间内消耗的平均电力、峰值电力等)、经由未图示的外部存储装置读入的数据等。可以在执行时/利用时，将存储在非易失性存储器14中的程序、各种数据展开到RAM13中。另外，在ROM12中预先写入有包含用于分析各种数据的公知的分析程序等的系统程序。
管理装置1经由接口16与有线/无线的网络5连接。网络5上连接有经由电源路径(未图示)向管理装置1和该管理装置控制的工业机械4供给电力的电源设备3、从该电源设备3供给电力的至少一个工业机械2等，在与管理装置1之间相互进行数据的收发。管理装置1控制的工业机械4和各个工业机械2能够设定在进行该工业机械2、4的一连串动作(1个周期的动作、例如通过执行一次控制用程序而指示的一连串动作)之后插入预定时间的休息的停止时间。管理装置1控制的工业机械4和各个工业机械2，如果设定了该停止时间，则例如重复进行以下这样的动作，即在执行了控制用程序之后，在所设定的停止时间的期间动作停止，然后再次执行控制用程序，然后在所设定的停止时间的期间动作停止。
经由接口17向显示装置70输出读入到存储器上的各数据、作为执行程序等的结果而得到的数据、从后述的机器学习装置100输出的数据等而显示。另外，由键盘、指点设备等构成的输入装置71经由接口18向CPU11传递基于工作人员的操作的指令、数据等。
示教操作盘60是具备显示器、手柄、硬按键等的手动数据输入装置，经由接口19接受来自管理装置1的信息并显示，并且将从手柄、硬按键等输入的脉冲、指令、各种数据传递到CPU11。
轴控制电路30控制驱动工业机械4的可动部的轴。轴控制电路30接受来自CPU11的轴的移动指令量，将轴的指令输出到伺服放大器40。伺服放大器40接受该指令，驱动伺服电动机50。伺服电动机50使工业机械4的轴移动。伺服电动机50内置位置/速度检测器，将来自该位置/速度检测器的位置/速度反馈信号反馈到轴控制电路30，进行位置/速度的反馈控制。此外，在图1的硬件结构图中仅将轴控制电路30、伺服放大器40、伺服电动机50示出1个，但实际上按成为控制对象的工业机械4所具备的轴的个数来准备。例如，在管理装置1控制的工业机械4是具备6个轴的机器人的情况下，针对各个轴准备轴控制电路30、伺服放大器40、伺服电动机50。
接口21将管理装置1和机器学习装置100连接起来。机器学习装置100具备统一控制机器学习装置100整体的处理器101、存储了系统程序等的ROM102、用于进行与机器学习相关的各处理中的临时存储的RAM103、以及用于存储学习模型等的非易失性存储器104。机器学习装置100能够经由接口21观测能够通过管理装置1取得的各信息(在各工业机械2中执行的控制程序、从电源设备3取得的在预定时间内消耗的平均电力、峰值电力等)。另外，管理装置1接受从机器学习装置100输出的结果，进行向显示装置70的显示、成为控制对象的工业机械4的控制、经由网络5向各工业机械2的指令输出等。
图2是一个实施方式的管理装置1和机器学习装置100的框图。本实施方式的管理装置1具有机器学习装置100进行学习的情况下所需要的结构、基于机器学习装置100的意图决定的处理所需要的结构。通过由图1所示的管理装置1具备的CPU11以及机器学习装置100的处理器101执行各个系统程序，控制管理装置1和机器学习装置100的各部的动作，来实现图2所示的功能模块。
本实施方式的管理装置1具备控制部32、数据取得部34、预处理部36、停止时间分配部38，管理装置1具备的机器学习装置100具备学习部110、意图决定部120。另外，在图1所示的非易失性存储器14上设置有存储从工业机械2、4、电源设备3等取得的数据的取得数据存储部54，在图1所示的机器学习装置100的非易失性存储器104上设置有存储通过学习部110的机器学习而构筑的学习模型的学习模型存储部130。
控制部32是根据存储在非易失性存储器104中的控制用程序52控制成为控制对象的工业机械(图1中的组装有伺服电动机50的工业机械4)的动作的功能单元。
控制部32根据工作人员对示教操作盘60的控制操作、存储在非易失性存储器14等中的控制用程序52，控制作为控制对象的工业机械4。控制部32控制工业机械4的各运转部。在将工业机械4的轴作为控制对象的情况下，向驱动该轴的伺服电动机50输出指令数据。指令数据是每个控制周期的轴角度的变化量。另外，控制部32取得成为控制对象的工业机械4具备的各伺服电动机50的电动机状态量(电动机的电流值、位置、速度、加速度、转矩等)。
数据取得部34是从控制部32、工业机械2、电源设备3、输入装置71等取得各种数据的功能单元。数据取得部34例如取得在工业机械4中执行的控制用程序52、在各工业机械2中执行的控制程序、对各工业机械2、4设定的停止时间、从电源设备3取得的在预定时间内消耗的平均电力、峰值电力等，存储到取得数据存储部54中。数据取得部34也可以经由外部存储装置(未图示)、网络5从其他计算机(未图示)取得数据。对各工业机械2、4设定的停止时间，也可以从控制部32、各工业机械2、4取得。也可以取得停止时间分配部38在上一个机器学习的动作周期中向控制部32、工业机械2、4分配的停止时间。
预处理部36根据数据取得部34取得的数据，生成机器学习装置100的学习中所使用的状态数据。预处理部36将数据取得部34取得的数据变换为在机器学习装置100中处理的统一形式(数值化、采样等)，生成状态数据。在本实施方式的强化学习的情况下，预处理部36生成该学习中的预定形式的状态数据S和判定数据D。
状态数据S是表示环境的状态的数据，包含与从电源设备3供给的消耗电力相关的消耗电力数据S1、表示在上述消耗电力数据S1所示的消耗电力下进行的向各工业机械2、4分配合计停止时间的分配行为的停止时间分配数据S2。
消耗电力数据S1包含平均电力、峰值电力、消耗的电力的时序数据等。平均电力是在预先确定的预定的观测时间Tv的期间，从电源设备3供给并在预定时间内被多个工业机械(管理装置1设为控制对象的工业机械4以及其他工业机械2)消耗的电力的平均。峰值消耗电力是在预先确定的预定的观测时间Tv的期间从电源设备3供给并被多个工业机械2、4消耗的电力的峰值。消耗电力的时序数据是在预先确定的预定的观测时间Tv的期间从电源设备3供给并被多个工业机械2、4消耗的电力的时序数据。消耗电力数据S1既可以根据通过设置在电源设备3的电力计(未图示)等传感器检测的检测值求出，也可以根据通过另外设置在电源路径等中的电力计(未图示)等传感器检测的检测值求出。
图3是表示在工业机械2、4中消耗的消耗电力、从工业机械2、4输出的再生电力的例子的图。在图3的例子中，假设从电源设备3向管理装置1设为控制对象的工业机械2和其他工业机械A、B供给电力。在图3中将横轴设为时间轴，在横轴线的上方表示出消耗电力，在横轴线的下方表示出再生电力。在图3中，针对各工业机械2、4表示的一连串的连续的消耗电力和再生电力的组，在一个周期(从控制用程序的执行开始到结束的周期)的动作结束的时刻，动作停止预定的停止时间后(例如在管理装置1设为控制对象的工业机械4的情况下，停止时间为0.1秒)，开始下一个周期的动作。通过各工业机械2、4产生的再生电力经由从电源设备3开始的电源路径被其他工业机械2、4利用，与该再生电力的量对应地缓和了对电源设备3要求的电力。图3的最下的图表表示从电源设备3向各工业机械2、4供给的电力的合计(图表的上边的部分)。被用作消耗电力数据S1的被多个工业机械2、4消耗的平均电力，例如计算图3所示的合计消耗电力在预定时间(例如5分钟)内的平均输出(平方平均输出)而使用即可。另外，被用作消耗电力数据S1的被多个工业机械2、4消耗的峰值消耗电力，例如使用图3所示的合计消耗电力在预定时间(例如5分钟)内的最大值即可。进而，被用作消耗电力数据S1的被多个工业机械2、4消耗的电力的时序数据，例如使用图3所示的合计消耗电力在预定时间(例如5分钟)内的时序数据即可。
停止时间分配数据S2是表示预先确定的合计停止时间向各工业机械(管理装置1设为控制对象的工业机械4以及其他工业机械2)的分配的数据。在观测到上述消耗电力数据S1所示的消耗电力后，分配停止时间分配数据S2。停止时间分配数据S2例如定义为向各个工业机械分配的停止时间的值的序列。例如工作人员考虑在现场动作的各工业机械2、4的周期时间、成为分配对象的工业机械2、4的台数等设定预先确定的合计停止时间即可，例如在工业机械2、4的平均周期时间是1～2分钟，工业机械2、4是数台的情况下，将0.5～1秒左右设定为合计停止时间即可。在图3中，将0.5秒设定为合计停止时间，向管理装置1设为控制对象的工业机械4分配0.1秒，向工业机械A分配0.3秒，向工业机械B分配0.1秒，这时的停止时间分配数据S2例如取(0.1，0.3，0.1)这样的值。
预处理部36生成的判定数据D是对在分配行为后在预定时间内被多个工业机械2、4消耗的平均电力、峰值消耗电力的判定(评价)。判定数据D的判定对象，是对在观测到消耗电力数据S1所示的消耗电力后进行了分配停止时间分配数据S2所示的合计停止时间向各工业机械2、4的分配的情况下在预定时间内被多个工业机械2、4消耗的平均电力、峰值消耗电力的判定(评价)。判定数据D至少包含在预定时间内被多个工业机械2、4消耗的平均电力、峰值消耗电力的改善的程度等与判定相关的消耗电力数据D1。
消耗电力数据D1也可以是在向各工业机械2、4分配合计停止时间的前后在预定时间内被多个工业机械2、4消耗的平均电力、峰值消耗电力的改善量(变差量)。用停止时间分配数据S2表示与消耗电力数据D1对应的合计停止时间。
学习部110利用预处理部36生成的数据进行机器学习。学习部110通过公知的强化学习的方法，生成学习了与从电源设备3供给的消耗电力的状态对应的对各工业机械2、4的合计停止时间的分配行为所得的学习模型，将生成的学习模型存储到学习模型存储部130。强化学习是以下的方法，即试错地反复进行以下这样的循环：观测学习对象存在的环境的当前状态(即输入)，并且在当前状态下执行预定的行为(即输出)，向该行为赋予某种回报，学习回报的总计最大化那样的策略(在本申请的机器学习装置中，为向各工业机械2、4分配合计停止时间的分配行为)作为更适当的解。作为学习部110进行的强化学习的方法，可以列举Q学习等。
在学习部110进行的Q学习中，对于回报R，例如可以在从电源设备3供给的预定时间的平均电力比调整前的平均电力降低(改善)了的情况下，判定为“好”而设为正(+)的回报R，在从电源设备3供给的预定时间的平均电力相对于调整前的平均电力没有降低的情况或增加(变差)了的情况下，判定为“否”而设为负(-)的回报R。另外，对于回报R，例如也可以在从电源设备3供给的预定时间的峰值电力比调整前的峰值电力降低(改善)了的情况下，判定为“好”而设为正(+)的回报R，在从电源设备3供给的预定时间的峰值电力相对于调整前的峰值电力没有降低的情况或增加(变差)了的情况下，判定为“否”而设为负(-)的回报R。回报R的值也可以与降低或增加的程度对应地变化。另外，作为判定的条件，在判定数据D包含多个数据的情况下，也可以组合这些多个数据来进行判定。
在学习部110进行的Q学习中，可以使用与函数Q所示的行为价值(例如数值)关联地整理状态数据S、判定数据Q和回报R所得的行为价值表作为学习模型。在该情况下，学习部110进行学习与学习部110更新行为价值表的行为同义。在Q学习开始时，环境的当前状态与合计停止时间向多个工业机械的分配的相关性是未知的，因此在行为价值表中，以与随机确定的行为价值的值(函数Q)关联的形式准备各种状态数据S、判定数据D和回报R。在推进学习时，根据状态数据S、判定数据D以及计算出的回报R改写行为价值的值(函数Q)而更新行为价值表。通过重复进行该更新，行为价值表所示的行为价值的值(函数Q)被改写成越是恰当的行为则为越大的值。另外，在充分推进了学习的时刻，只参照行为价值表，就能够针对当前的状态选择更适当的合计停止时间的分配行为。
学习部110也可以构成为使用神经网络作为价值函数Q(学习模型)，将状态数据S和行为a作为神经网络的输入，输出该状态下的该行为a的价值(结果y)。在这样构成的情况下，也可以使用具备输入层、中间层、输出层这3层的神经网络作为学习模型，但也可以构成为通过使用利用形成三层以上的层的神经网络的所谓的深度学习的方法，进行更有效的学习和推理。学习部110所生成的学习模型被存储在设置于非易失性存储器104上的学习模型存储部130中，用于意图决定部120的向各工业机械分配合计停止时间的分配行为的决定处理。
此外，学习部110在学习的阶段为必需的结构，但在学习部110的向各工业机械2、4分配合计停止时间的分配行为的学习完成后，并不一定是必需的结构。例如，在向顾客出厂学习完成了的机器学习装置100的情况等下，也可以卸下学习部110而出厂。
意图决定部120根据从预处理部36输入的状态数据S，使用存储在学习模型存储部130中的学习模型，求出向各工业机械2、4分配合计停止时间的分配行为的更适当的解，输出所求出的向各工业机械2、4分配合计停止时间的分配行为。在本实施方式的意图决定部120中，将从预处理部36输入的状态数据S(消耗电力数据S1等)、向各工业机械2、4分配合计停止时间的分配行为作为输入数据，输入到通过学习部110的强化学习生成(确定了参数)的学习模型，由此计算出在当前的状态下采取该行为的情况下的回报。意图决定部120针对当前能够采取的向各工业机械2、4分配合计停止时间的分配行为进行回报的计算，对计算出的多个回报进行比较，将计算出最大的回报的向各工业机械2、4分配合计停止时间的分配行为决定为更适当的解。意图决定部120所决定的向各工业机械2、4分配合计停止时间的分配行为的更适当的解，除了输出到停止时间分配部38以外，例如也可以显示输出到显示装置70，或经由未图示的有线/无线网络发送输出到主计算机、云计算机等，由此进行利用。
停止时间分配部38根据从意图决定部120输入的合计停止时间向各工业机械的分配，向管理装置1设为控制对象的工业机械以及其他工业机械2输出所分配的停止时间。停止时间分配部38向控制部32输出管理装置1设为控制对象的工业机械2、4的停止时间，而设定为在控制部32执行控制用程序52的期间应该采取的停止时间。另外，停止时间分配部38经由网络5向各个工业机械2输出向其他工业机械2分配的停止时间，而设定为在各工业机械2的一连串控制动作的期间应该采取的停止时间。
在具有上述结构的管理装置1中，针对从同一电源设备3供给电力的多个工业机械2、4，一边观测整体的消耗电力的状态，一边变更停止时间向各工业机械2、4的分配。由此，各个工业机械2、4的电力消耗和电力再生的定时与分配之前相比在时间上错开了。另外，在某停止时间的分配中，某工业机械2、4的电力消耗的定时与其他工业机械2、4的电力再生的定时错开，而在其他停止时间的分配中，某工业机械2、4的电力消耗的定时与其他工业机械2、4的电力再生的定时一致。在重复进行这样的分配行为的过程中，管理装置1具备的机器学习装置100学习在怎样的消耗电力的状态下进行怎样的合计停止时间的分配，消耗电力的状态怎样变化，均能够输出设定对当前的消耗电力的状态更适当的合计停止时间的分配解。
以下，说明作为雾计算机、云服务器等计算机而实现管理装置1的第二实施方式的管理系统。
图4是表示第二实施方式的管理系统动作的环境的图。如图4示例的那样，本实施方式的管理系统在包含云服务器6、雾计算机7、边缘计算机8的多个装置分别与有线/无线的网络连接的系统环境下动作。图4示例的系统构成为在逻辑上分为包含云服务器6等的层、包含雾计算机7等的层、包含边缘计算机8(对单元9所包含的机器人进行控制的机器人控制器、控制机床的控制装置、运输机械等外围机械、电源设备等)等的层的3个阶层。在这样的系统上，在云服务器6、雾计算机7等计算机上实现在第一实施方式中说明了的管理装置1的功能，由此构成本实施方式的管理系统。在第二实施方式的管理系统中，能够在与多个装置之间分别经由网络相互共享数据，或将通过边缘计算机8取得的各种数据收集到雾计算机7、云服务器6而进行大规模分析，或进而根据该分析结果控制各个边缘计算机8的动作。在图4示例的系统中，在各地的工厂中分别设置多个单元9(例如在工厂的每一层设置一个单元9等)，按照预定的单位(以工厂为单位、以同一制造商的多个工厂为单位等)，由上位层的雾计算机7管理各个单元9。另外，可以进而在上位层的云服务器6中对这些雾计算机7收集、分析后的数据进行收集、分析等，在各个边缘计算机8的控制等中利用作为其结果而得到的信息。
图5是本实施方式的管理系统的概要结构图。本实施方式的管理系统300具备在云服务器6、雾计算机7等计算机上实现的管理装置1’、经由网络5与该管理装置1’连接的作为边缘计算机的多个工业机械2、对该多个工业机械2供给电力的电源设备3等。本实施方式的管理系统300具备的管理装置1`除了不具备控制部32这一点以外，具有与在图2中说明了的管理装置1相同的结构。
在本实施方式的管理系统300中，管理装置1’对处于管理下的多个工业机械2进行合计停止时间的分配。管理装置1’具备的机器学习装置100针对处于管理下的多个工业机械2，学习在怎样的消耗电力的状态下进行怎样的合计停止时间的分配则消耗电力的状态怎样变化，均能够输出并设定对当前的消耗电力的状态更适当的合计停止时间的分配解。
图6表示向图4所示的系统环境导入了多个管理系统300的例子。图6示例的系统具备在雾计算机7上实现管理装置1’所得的多个管理系统300(未图示)，各管理装置1’构成为分别管理多个边缘计算机8，能够进行基于从处于管理下的多个工业机械(边缘计算机8)收集到的数据的学习，并在与其他管理装置1’之间直接或经由云服务器6相互收发作为各个学习结果的学习模型。
在具有这样的结构的管理系统300中，例如能够从配置了与处于管理下的多个工业机械类似的多个工业机械的其他管理系统300取得学习模型并利用。因此，在设置了新的工厂等情况下，通过从对类似的多个工业机械的组合应用的管理系统300沿用学习模型，能够大幅地节省工厂投产时用于构筑学习模型的试验应用工作的工时。
以上，说明了本发明的实施方式，但本发明并不只限于上述实施方式的例子，通过加以适当的变更能够以各种形式实施。
例如，在上述实施方式中，将管理装置1和机器学习装置100说明为具备不同的CPU(处理器)的装置，但也可以通过管理装置1具备的CPU11、存储在ROM12中的系统程序来实现机器学习装置100。

Claims (6)

1.一种管理装置，是从电源设备供给电力的多个工业机械的管理装置，其特征在于，
该管理装置具备：
数据取得部，其至少收集与从上述电源设备向上述多个工业机械供给的消耗电力相关的数据；
预处理部，其根据上述数据取得部收集到的数据，生成表示与在预定时间的期间对上述多个工业机械供给的消耗电力相关的信息的消耗电力数据；
学习模型存储部，其存储使向上述多个工业机械分配预先确定的合计停止时间的分配行为的价值与上述多个工业机械的消耗电力的状态关联起来所得的学习模型；
意图决定部，其根据上述预处理部生成的消耗电力数据，决定使用存储在上述学习模型存储部中的学习模型进行的与当前的上述多个工业机械的消耗电力的状态对应地向上述多个工业机械分配预先确定的合计停止时间的分配行为；以及
停止时间分配部，其基于上述意图决定部的决定，对上述多个工业机械进行上述合计停止时间的分配，
上述管理装置针对从上述电源设备供给电力的多个工业机械的每一个，决定在该工业机械的动作后该工业机械停止动作的时间。
2.根据权利要求1所述的管理装置，其特征在于，
上述数据取得部还收集上述工业机械的一连串动作后的停止时间，
上述预处理部生成上述消耗电力数据、停止时间分配数据以及消耗电力判定数据，
上述管理装置具备生成学习模型的学习部，
上述停止时间分配数据表示在观测到上述消耗电力数据所示的消耗电力的状态后向上述消耗电力数据所示的上述多个工业机械分配预先确定的合计停止时间，
消耗电力判定数据表示在观测到上述消耗电力数据所示的消耗电力后进行了上述停止时间分配数据所示的合计停止时间向各工业机械的分配的情况下对该分配行为后的上述多个工业机械在预定时间内的消耗电力的判定结果，
上述学习模型根据上述消耗电力数据、上述停止时间分配数据以及上述消耗电力判定数据，使预先确定的合计停止时间的分配行为和上述多个工业机械的消耗电力的状态所对应的上述多个工业机械关联起来。
3.根据权利要求2所述的管理装置，其特征在于，
上述学习部在预先确定的预定时间内由上述多个工业机械消耗的平均电力减少时，设为正的回报，在预先确定的预定时间内由上述多个工业机械消耗的平均电力减少时，设为负的回报，
上述学习部根据该回报的值生成上述学习模型。
4.根据权利要求1～3中任意一项所述的管理装置，其特征在于，
上述学习模型是将向上述多个工业机械分配预先确定的合计停止时间的分配行为的价值与上述多个工业机械的消耗电力的状态关联起来而存储的行为价值表。
5.根据权利要求1～3中任意一项所述的管理装置，其特征在于，
上述学习模型是由多层构造构成的神经网络。
6.一种管理系统，由多个权利要求2所述的管理装置经由网络相互连接而成，其特征在于，
该管理系统能够在多个上述管理装置之间共享上述学习部的学习结果。
CN202010090327.8A 2019-02-13 2020-02-13 管理装置以及管理系统 Pending CN111563825A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-023992 2019-02-13
JP2019023992A JP7015261B2 (ja) 2019-02-13 2019-02-13 管理装置及び管理システム

Publications (1)

Publication Number Publication Date
CN111563825A true CN111563825A (zh) 2020-08-21

Family

ID=71944836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010090327.8A Pending CN111563825A (zh) 2019-02-13 2020-02-13 管理装置以及管理系统

Country Status (4)

Country Link
US (1) US11340563B2 (zh)
JP (1) JP7015261B2 (zh)
CN (1) CN111563825A (zh)
DE (1) DE102020103042A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023097022A1 (en) * 2021-11-23 2023-06-01 Strong Force Ee Portfolio 2022, Llc Ai-based energy edge platform, systems, and methods
WO2023243027A1 (ja) * 2022-06-16 2023-12-21 ファナック株式会社 分析装置、分析システム及びプログラム
US20230419208A1 (en) * 2022-06-24 2023-12-28 Caterpillar Inc. Systems and methods for managing assignments of tasks for work machines using machine learning

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10108364A (ja) * 1996-09-26 1998-04-24 Kawabata Shigeo 電力使用量制御装置
JP4369189B2 (ja) * 2003-09-22 2009-11-18 三菱電機株式会社 スケジューリングシステムおよびスケジューリングをコンピュータに実行させるためのプログラム
JP6496470B2 (ja) * 2013-02-19 2019-04-03 富士電機株式会社 生産計画支援装置、生産計画支援プログラム及びその方法
US9671846B1 (en) * 2015-03-11 2017-06-06 Pure Storage, Inc. Power sequencing for optimal system load at start up
JP6059375B1 (ja) * 2016-02-09 2017-01-11 ファナック株式会社 生産制御システムおよび統合生産制御システム
JP2017162300A (ja) * 2016-03-10 2017-09-14 ファナック株式会社 複数の製造機械の稼働状態を調整する機械制御装置および生産システム
JP6848252B2 (ja) * 2016-08-05 2021-03-24 日本電気株式会社 設備運用計画作成装置と方法とプログラム

Also Published As

Publication number Publication date
DE102020103042A1 (de) 2020-09-10
US20200257253A1 (en) 2020-08-13
US11340563B2 (en) 2022-05-24
JP7015261B2 (ja) 2022-02-02
JP2020135075A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
CN111563825A (zh) 管理装置以及管理系统
US9958861B2 (en) Production control system and integrated production control system
US10585417B2 (en) Machine learning device, numerical control device and machine learning method for learning threshold value of detecting abnormal load
CN111538296A (zh) 管理装置和管理系统
CN110405532B (zh) 工具选定装置以及机器学习装置
US10635091B2 (en) Machining condition adjustment device and machine learning device
CN112099435B (zh) 诊断装置以及诊断方法
US20210018904A1 (en) Abnormality determination device and abnormality determination system
CN111650892B (zh) 管理装置以及管理系统
CN110174871A (zh) 控制装置、机器学习装置以及系统
CN107450980A (zh) 运行自动化装置的方法以及自动化装置
DE102017004591B4 (de) Numerische Steuerung
CN115698875B (zh) 数控装置及工业机械控制系统
CN112117944A (zh) 控制装置、控制系统以及机器学习装置
US11407104B2 (en) Tooth contact position adjustment amount estimation device, machine learning device, and robot system
JPH09168946A (ja) 作業管理装置
JPWO2021079466A1 (ja) 数値制御装置および数値制御方法
CN117784708B (zh) 数控机床防撞的控制方法、系统及存储介质
US20190287189A1 (en) Part supply amount estimating device and machine learning device
KR20020091382A (ko) 자동화시스템을 위한 제어와 시뮬레이션의 통합제어장치및 그것의 운영방법
CN110978014A (zh) 控制装置以及控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination