CN116324765A - 操作辅助系统以及操作辅助方法 - Google Patents

Abstract

面向用于对控制对象进行控制的控制系统的操作辅助系统包含：取得单元，其取得记录了操作员对HMI的操作的内容；取得单元，其取得与所取得的内容关联的元信息；存储单元，其将所取得的内容和所取得的元信息关联起来进行存储；检索单元，其基于所存储的元信息，检索与所请求的查询匹配的内容；以及再现单元，其再现所选择的内容。

Description

操作辅助系统以及操作辅助方法

技术领域

本发明涉及对进行控制操作的操作员的操作进行辅助的系统。

背景技术

在各种生产现场中，操作员的操作经由被称为HMI(Human Machine Interface：人机界面)的设备给出到控制装置，并且经由HMI向操作员提供来自控制装置的状况。

例如，日本特表2016-506559号公报(专利文献1)公开了改变用于在HMI设备的显示屏上使用的对象的方法等。

现有技术文献

专利文献

专利文献1：日本特表2016-506559号公报

发明内容

发明要解决的课题

HMI是最适合作为与控制装置之间的界面的设备之一，但操作员的操作速度、准确性依赖于操作员的知识、经验。因此，期望一种即使是知识、经验少的操作员，也能够与熟练的操作员同样地进行操作的结构。

本发明的一个目的在于提供一种即使是知识、经验少的操作员也能够进行高效且准确的操作的结构。

用于解决课题的手段

根据本发明的一例，提供面向用于对控制对象进行控制的控制系统的操作辅助系统。操作辅助系统包含：取得单元，其取得记录了操作员对HMI即人机界面的操作的内容；取得单元，其取得与所取得的内容关联的元信息；存储单元，其将所取得的内容和所取得的元信息关联起来进行存储；检索单元，其基于所存储的元信息，检索与所请求的查询匹配的内容；以及再现单元，其再现所选择的内容。

根据该结构，能够将记录有过去取得的操作员对HMI的操作的内容灵活运用作信息资产。因此，即使是知识、经验少的操作员，也能够辅助进行高效且准确的操作。

取得单元也可以包含能够以电气方式或光学方式观测HMI的操作画面的移动终端。根据该结构，能够经由移动终端容易地取得内容。

取得单元也可以包含安装于HMI的对操作画面进行录像的捕获应用。根据该结构，HMI自身能够取得内容，因此能够简化结构。

取得单元也可以在发生异常或事件时，生成记录了该异常或事件的发生时刻之前的操作的内容。根据该结构，在发生了某些异常或事件时，能够验证紧接着其之前进行的操作等。

HMI也可以构成为当发生异常或事件时，输出与该发生的异常或事件相关的信息。也可以是，该输出的信息能够直接或间接地作为查询来利用。根据该结构，能够使用因异常或事件的发生而输出的信息来检索关联的内容。

操作辅助系统还可以包含生成单元，所述生成单元按照任意的检索条件生成查询。根据该结构，能够使用操作员希望的任意的关键字来检索内容。

再现单元也可以包含再现所选择的内容的移动终端。根据该结构，能够在操作员所具有的移动终端等中再现内容，因此能够使内容的确认容易化。

元信息也可以包含表示操作员的操作对象的场所和进行了操作的时间的操作历史。再现单元也可以基于与所选择的内容关联的元信息，在HMI的操作画面上追加显示表示应操作的内容的信息。根据该结构，能够基于预先取得的内容，实现由操作员进行的更可靠的操作。

操作辅助系统还可以包含第1生成单元，所述第1生成单元根据HMI的操作画面所包含的多个操作对象中的任意的操作对象的选择，生成汇集地显示该所选择的1个或多个操作对象的第2操作画面。根据该结构，能够仅将用于特定的操作或者特定的用途的操作对象汇集于同一操作画面，因此能够提高操作的效率，并且能够减少操作失误等不良情况的发生。

操作辅助系统还可以包含第2生成单元，所述第2生成单元根据HMI提供的多个页面的操作画面中的任意页面的选择，生成包含用于访问该所选择的1个或多个页面的操作对象的第3操作画面。根据该结构，能够更容易地进行向用于特定的操作或者特定的用途的操作画面的转变，因此能够提高操作的效率，并且能够减少操作失误等不良情况的发生。

按照本发明的另一例，提供由用于对控制对象进行控制的控制系统执行的操作辅助方法。操作辅助方法包含以下步骤：取得记录了操作员对HMI的操作的内容；取得与所取得的内容关联的元信息；将所取得的内容和所取得的元信息关联起来进行存储；基于所存储的元信息，检索与所请求的查询匹配的内容；以及再现所选择的内容。

发明的效果

根据本发明，能够提供一种即使是知识、经验少的操作员也能够进行高效且准确的操作的结构。

附图说明

图1是表示本实施方式的操作辅助系统的整体结构例的示意图。

图2是用于说明本实施方式的操作辅助系统中的典型的处理例的图。

图3是表示构成本实施方式的操作辅助系统的PLC的硬件结构例的框图。

图4是表示构成本实施方式的操作辅助系统的HMI的硬件结构例的框图。

图5是表示构成本实施方式的操作辅助系统的移动终端的硬件结构例的框图。

图6是表示构成本实施方式的操作辅助系统的服务器的硬件结构例的框图。

图7是表示本实施方式的操作辅助系统能够提供的处理的概要的示意图。

图8是用于说明本实施方式的操作辅助系统中的内容的取得方法的一例的图。

图9是用于说明本实施方式的操作辅助系统中的元信息的取得方法的一例的图。

图10是用于说明本实施方式的操作辅助系统中的查询的生成方法的一例的图。

图11是用于说明本实施方式的操作辅助系统中的检索结果的一例的图。

图12是用于说明本实施方式的操作辅助系统中的利用了元信息的操作辅助的一例的图。

图13是表示本实施方式的操作辅助系统中的内容的取得所涉及的处理过程的序列图。

图14是表示本实施方式的操作辅助系统中的内容的灵活运用所涉及的处理过程的序列图。

图15是用于说明本实施方式的操作辅助系统中的内容的取得的变形例所涉及的处理的图。

图16是用于说明本实施方式的操作辅助系统中的内容的取得的又一变形例所涉及的处理的图。

图17是用于说明本实施方式的操作辅助系统中的操作导航所涉及的处理例的图。

图18是用于说明本实施方式的操作辅助系统中的操作导航所涉及的处理例的图。

图19是表示本实施方式的操作辅助系统的HMI所提供的操作画面的一例的示意图。

图20是表示本实施方式的操作辅助系统的HMI中的对操作对象的快捷方式创建的一例的示意图。

图21是表示本实施方式的操作辅助系统的HMI所提供的操作画面的另一例的示意图。

图22是表示本实施方式的操作辅助系统的HMI中的页面的书签创建的过程例的图。

图23是表示本实施方式的操作辅助系统的HMI中的页面的书签的显示例的图。

具体实施方式

参照附图对本发明的实施方式进行详细说明。另外，对图中的相同或相应的部分标注相同的标号并不重复其说明。

<A.应用例>

首先，对应用本发明的场景的一例进行说明。

图1是表示本实施方式的操作辅助系统1的整体结构例的示意图。参照图1，本实施方式的操作辅助系统1面向用于对控制对象进行控制的控制系统2。典型地，操作辅助系统1包含1个或多个控制系统2。各个控制系统2可以控制工厂整体，也可以控制设置于工厂的特定的制造设备、制造装置。设置各个控制系统2的场所可以是任意的场所。例如，如果是在多个国家具有制造据点的制造者，则控制系统2也可以设置于互不相同的国家。

各个控制系统2包含对控制对象进行控制的控制装置的典型例即PLC(Programmable Logic Controller：可编程逻辑控制器)100、与PLC 100连接的HMI 200、移动终端300以及服务器400作为主要的构成要素。

PLC 100也与现场装置组10连接。现场装置组10包含为了对控制对象进行控制所需的任意装置。更具体而言，现场装置组10包含用于与控制对象(例如，制造设备、制造装置、制造设备或制造装置中包含的传感器以及致动器等)之间交换信息的装置。在图1所示的例子中，现场装置组10包含远程I/O(Input/Output：输入/输出)装置12、继电器组14、伺服驱动器16以及伺服电机18。

PLC 100从现场装置组10取得信息，按照预先创建的用户程序执行控制运算，由此生成给出到现场装置组10的信息。以下，将PLC 100从现场装置组10取得的信息也称为“输入数据”，将给出到现场装置组10的信息也称为“输出数据”。

在图1所示的例子中，PLC 100与现场装置组10经由控制系统网络4连接，但并不限定于此，也可以通过硬连线连接。

此外，作为控制系统网络4，优选采用工业用的通信协议。作为这样的通信协议，已知EtherCAT(注册商标)、EtherNet/IP(注册商标)、DeviceNet(注册商标)、CompoNet(注册商标)等。

HMI 200接受来自操作员的操作，对PLC 100发送表示操作内容的命令等，并且将来自PLC 100的各种信息图形化地显示。

HMI 200和移动终端300执行用于辅助操作员的操作的各种处理。关于用于对操作进行辅助的处理的详细内容将后述。

在图1所示的例子中，PLC 100与HMI 200经由信息系统网络6连接。作为信息系统网络6，也可以采用Ethernet(注册商标)等通用的通信协议。另外，在图1所示的例子中，移动终端300也可以经由接入点20与信息系统网络6连接。

在信息系统网络6中设置有网关30，能够经由因特网8等访问服务器400。

服务器400将用于辅助操作员的操作的信息存储在内容数据库450中，并且根据需要提供存储在内容数据库450中的信息。服务器400可以经由因特网8配置在云上，也可以不经由因特网8而配置在控制系统2所存在的局域网内。作为服务器400的安装方式，能够根据所要求的性能以及功能等而任意地决定。

本实施方式的操作辅助系统1能够安装后述的多个处理的一部分或者全部。作为应用例，对能够取得和利用记录了操作员的操作的信息(典型的是动态图像)的处理进行说明。

图2是用于说明本实施方式的操作辅助系统1中的典型的处理例的图。参照图2，根据任意的条件成立或明示的指示，记录操作员对HMI 200的操作。以下，也将记录了操作员对HMI 200的操作的结果简称为“内容”。这样，取得记录了操作员对HMI的操作的内容50((1)内容取得)。另外，还取得与所取得的内容关联的元信息60((2)元信息取得)。元信息60被用作用于检索内容50的信息。进而，将内容50与对应的元信息60关联起来进行存储((3)内容/元信息存储)。

在图2中，作为一例，示出移动终端300取得内容50和元信息60并且将所取得的内容50和元信息60发送到服务器400的例子。服务器400将由移动终端300发送的内容50与附加的元信息60一起存储在内容数据库450中。

上述的处理也可以在每次发生任意的异常或事件时反复执行。

之后，当发生某种异常或事件时((4)异常/事件发生)，生成作为检索请求的查询并发送到服务器400。服务器400基于所存储的元信息60来检索与所请求的查询匹配的内容50((5)内容检索)。

操作员选择从服务器400应答的检索结果中的任意的内容50。于是，所选择的内容50被再现((6)内容再现)。操作员参照再现的内容50，对HMI 200进行必要的操作((7)操作)。

在图2中，作为一例，示出当发生某些异常或事件时，HMI 200输出查询的生成所需的信息，移动终端300基于输出的信息来发送查询的例子。

通过提供能够灵活运用这样的内容50的操作辅助系统1，即使是知识、经验少的操作员，也能够容易地进行与熟练的操作员同样的操作。另外，所取得的内容50也能够灵活运用于对知识、经验少的操作员的教育。

<B.硬件结构>

接着，说明构成本实施方式的操作辅助系统的装置的硬件结构的一例。

(b1：PLC 100)

图3是表示构成本实施方式的操作辅助系统1的PLC 100的硬件结构例的框图。参照图3，PLC 100包含CPU(Central Processing Unit：中央处理器)或MPU(Micro-Processing Unit：微处理器)等处理器102、芯片组104、主存储器106、储存器110、控制系统网络控制器120、信息系统网络控制器122、USB(Universal Serial Bus：通用串行总线)控制器124以及存储卡接口126。

处理器102读出储存器110中存储的各种程序，在主存储器106中展开并执行，由此实现用于对控制对象进行控制的控制运算。芯片组104控制处理器102与各组件之间的数据传输等。

在储存器110中存储有用于实现基本处理的系统程序112、和用于实现控制运算的用户程序114。

对控制系统网络控制器120与现场装置组10之间的经由控制系统网络4的数据交换进行控制。

信息系统网络控制器122控制经由信息系统网络6的与HMI 200等之间的数据交换。

USB控制器124控制经由USB连接的与外部装置(例如，支持装置)之间的数据交换。

存储卡接口126构成为能够装卸存储卡128，能够对存储卡128写入数据，并从存储卡128读出各种数据(用户程序、跟踪数据等)。

在图3中，示出了通过处理器102执行程序来提供所需的处理的结构例，但也可以使用专用的硬件电路(例如，ASIC(Application Specific Integrated Circuit：专用集成电路)或者FPGA(Field-Programmable Gate Array：现场可编程门阵列)等)来安装这些所提供的处理的一部分或者全部。或者，也可以使用遵循通用架构的硬件(例如以通用个人计算机为基础的工业用个人计算机)来实现PLC 100的主要部分。在该情况下，也可以使用虚拟化技术并行地执行用途不同的多个OS(Operating System：操作系统)，并且在各OS上执行所需的应用。

(b2：HMI 200)

图4是表示构成本实施方式的操作辅助系统1的HMI 200的硬件结构例的框图。参照图4，HMI 200包含CPU或MPU等处理器202、光学驱动器204、主存储器206、储存器210、网络控制器220、USB控制器224、输入部226以及显示部228。这些组件经由总线208连接。

处理器202读出储存器210中存储的各种程序，在主存储器206中展开并执行，由此在HMI 200中实现必要的处理。

储存器210例如由HDD(Hard Disk Drive：硬盘驱动器)或SSD(Flash Solid StateDrive：闪存固态驱动器)等构成。在储存器210中，典型地存储有OS(Operating System：操作系统)211、用于实现基本处理的系统程序212、以及根据控制对象而预先创建的用户程序214。另外，在储存器210中，也可以存储图4所示的程序以外的必要的程序。

HMI 200也可以具有光学驱动器204。光学驱动器204从非暂时性地存储计算机可读取的程序的记录介质205(例如，DVD(Digital Versatile Disc：数字多功能光盘)等光学记录介质)读取程序，并存储在储存器210等中。

由HMI 200执行的各种程序可以经由计算机可读取的记录介质205安装，但也可以以从网络上的任意服务器下载的形式安装。

网络控制器220控制经由控制系统网络4的与PLC 100等之间的数据交换。

USB控制器224控制经由USB连接的与外部装置之间的数据交换。

输入部226由触摸面板、鼠标、键盘等构成，受理来自操作员的指示。显示部228由显示器、各种指示器等构成，输出来自处理器202的处理结果。

在图4中，示出了通过处理器202执行程序而提供所需的处理的结构例，但也可以使用专用的硬件电路(例如ASIC或FPGA等)来安装这些所提供的处理的一部分或全部。

(b3：移动终端300)

图5是表示构成本实施方式的操作辅助系统1的移动终端300的硬件结构例的框图。参照图5，移动终端300包含CPU或MPU等处理器302、主存储器306、储存器310、无线网络控制器320、拍摄部322、USB控制器324、输入部326以及显示部328。这些组件经由总线308连接。

处理器302读出储存器310中存储的各种程序，在主存储器306中展开并执行，由此在移动终端300中实现必要的处理。

储存器310例如由HDD或SSD等构成。储存器310典型地存储有OS 311和用于实现后述的处理的应用程序312。另外，在储存器310中，也可以存储图5所示的程序以外的必要的程序。由移动终端300执行的各种程序例如可以以从网络上的任意服务器下载的形式安装。

拍摄部322配置于移动终端300的露出面，对拍摄范围所包含的对象物进行拍摄。

USB控制器324控制经由USB连接的与外部装置之间的数据交换。

无线网络控制器320控制经由无线网络的与中继装置或外部装置之间的数据交换。

输入部326由触摸面板、鼠标、键盘等构成，受理来自操作员的指示。显示部328由显示器、各种指示器等构成，输出来自处理器402的处理结果。

在图5中，示出了通过处理器302执行程序而提供所需的处理的结构例，但也可以使用专用的硬件电路(例如ASIC或FPGA等)来安装这些所提供的处理的一部分或全部。

(b4：服务器400)

图6是表示构成本实施方式的操作辅助系统1的服务器400的硬件结构例的框图。参照图6，服务器400包含CPU或MPU等处理器402、主存储器406、储存器410、网络控制器420、输入部426和显示部428。这些组件经由总线408连接。

处理器402读出储存器410中存储的各种程序，在主存储器406中展开并执行，由此在服务器400中实现必要的处理。

储存器410例如由HDD或SSD等构成。储存器410典型地存储有OS 411和用于实现后述的处理的应用程序412。另外，在储存器410中，也可以存储图6所示的程序以外的必要的程序。

网络控制器420控制经由网络的与各种装置之间的数据交换。

输入部426由键盘、鼠标等构成，受理来自操作员的指示。显示部428由显示器等构成，输出来自处理器402的处理结果等。

在图6中，示出了通过处理器402执行程序而提供所需的处理的结构例，但也可以使用专用的硬件电路(例如ASIC或FPGA等)来安装这些所提供的处理的一部分或全部。

<C.处理的概要>

接下来，对本实施方式的操作辅助系统1能够提供的处理进行概略说明。

图7是表示本实施方式的操作辅助系统1能够提供的处理的概要的示意图。参照图7，操作辅助系统1能够进行内容的取得和灵活运用的处理42、操作导航的处理44、操作对象的快捷方式创建的处理46、以及页面的书签创建的处理48。

内容的取得和灵活运用的处理42是为了共享和参照熟练的操作员等的操作而利用的功能，HMI 200、移动终端300以及服务器400能够参与。

操作导航的处理44是用于辅助操作员对操作画面的操作的功能，HMI 200和移动终端300能够参与。

操作对象的快捷方式创建的处理46是能够使对操作画面所包含的操作对象的访问容易化的功能，HMI 200能够参与。

页面的书签创建的处理48是使对构成操作画面的任意页面的访问容易化的功能，HMI 200能够参与。

不需要安装图7所示的全部处理，根据所要求的处理适当安装即可。另外，即使是多个装置能够参与的处理，也可以通过单一的装置来实现，即使是仅单一的装置能够参与的处理，也可以通过多个装置来实现。

<D.内容的取得和灵活运用>

接着，对内容的取得和灵活运用的处理42进行说明。

(d1：内容的取得)

首先，对取得内容50的处理的一例进行说明。内容50记录了操作员对HMI 200进行的操作，典型地以动态图像的形式生成。但是，内容50也可以作为1个或多个静态图像的集合而生成。因此，通过以任意的方法对显示于HMI 200的显示部228的操作画面进行录像，来生成内容50。

图8是用于说明本实施方式的操作辅助系统1中的内容的取得方法的一例的图。图8的(A)表示使用VNC(Virtual Network Computing：虚拟网络计算)的例子，图8的(B)表示使用文件传送(例如FTP(File Transfer Protocol：文件传输协议))的例子，图8的(C)表示使用拍摄部的例子。

参照图8的(A)，HMI 200具有VNC服务器2122，移动终端300具有VNC客户端3122以及捕获应用3124。在VNC服务器2122与VNC客户端3122之间，对显示于HMI 200的显示部228的操作画面进行镜像。

由于显示于HMI 200的显示部228的操作画面被实时地提供给移动终端300，因此对显示于提供移动终端300的捕获应用3124的显示部228上的操作画面进行录像。这样，移动终端300通过电连接并观测HMI 200的操作画面来取得内容50。

参照图8的(B)，HMI 200具有捕获应用2124和FTP服务器2126，移动终端300具有FTP客户端3126。HMI 200的捕获应用2124对显示于HMI 200的显示部228的操作画面进行录像，生成内容50。然后，在FTP服务器2126与FTP客户端3126之间传送内容50。这样，HMI 200也可以安装有对操作画面进行录像的捕获应用2124。

参照图8的(C)，移动终端300包含拍摄应用3128。利用移动终端300的拍摄部322拍摄HMI 200的显示部228，并且利用拍摄应用3128进行录像，由此生成内容50。这样，移动终端300通过光学地观测HMI 200的操作画面来取得内容50。

通过以上那样的结构和处理，HMI 200和/或移动终端300取得内容50。即，HMI 200和移动终端300中的至少一方执行取得内容50的处理，该内容50记录有操作员对HMI 200的操作。另外，移动终端300的内容50的取得方法不限于上述方法，能够采用任意的方法。

(d2：元信息的取得)

所取得的内容50被附加元信息60而存储在服务器400(内容数据库450)中。

元信息60用于内容50的检索等。元信息60能够包含用于确定对应的内容50的任意的信息。作为一例，元信息60能够包含日期时间、场所、操作员名、装置名、形式、错误信息、PLC的状态信息、系统整体的状态信息、事件历史、操作历史(例如，时间序列信息)、操作历史(点击的场所或时间(例如，从开始时间起xx秒这样的形式))等。元信息60也可以包含操作员任意记载的说明等。

作为更具体的一例，元信息60也可以包含装置固有的配置文件。作为装置固有的配置文件，例如可举出装置的形式、序列号、生产线名、设备名、运转累计时间等。

另外，元信息60也可以包含操作员的配置文件。作为操作员的配置文件，例如可举出熟练度、部门、编制(是生产管理部门还是维护部门等)、使用语言、过去的检索历史等。

另外，元信息60也可以包含在取得了对应的内容50时关联的信号或者变量的波形数据。进而，元信息60也可以包含对取得了对应的内容50的异常或事件进行拍摄而得到的图像数据(例如，对装置破损的状态进行拍摄而得到的图像)。

也可以根据操作员对HMI 200的操作和PLC 100的状态等，由HMI 200生成元信息60。即，能够生成和输出HMI 200。

图9是用于说明本实施方式的操作辅助系统1中的元信息60的取得方法的一例的图。图9的(A)表示使用拍摄部的例子，图9的(B)表示使用装置间通信的例子。

参照图9的(A)，当发生某种异常或事件时，HMI 200生成与发生的异常或事件相关的元信息60，并显示对生成的元信息60进行编码而得到的图像代码62(例如QR Code(注册商标)等)。操作员操作移动终端300，利用拍摄部322拍摄HMI 200的显示部228。由此，移动终端300能够取得表示元信息60的图像代码62。

参照图9的(B)，当发生某种异常或事件时，HMI 200生成与发生的异常或事件相关的元信息60。由HMI 200生成的元信息60通过任意的数据通信方法被传送到移动终端300。由此，移动终端300能够取得表示元信息60的图像代码62。此外，作为数据通信方法，除了无线通信之外，也可以采用NFC那样的近距离无线通信。

通过以上那样的结构和处理，HMI 200和/或移动终端300取得元信息60。即，HMI200和移动终端300中的至少一方执行取得与所取得的内容关联的元信息的处理。另外，移动终端300取得元信息60的方法不限于上述方法，能够采用任意的方法。例如，也可以由操作员向移动终端300手动输入显示于HMI 200的任意的代码。

(d3：内容和元信息的存储)

HMI 200将所取得的内容50与对应的元信息60关联地发送到服务器400。服务器400将从HMI 200发送的内容50储存于内容数据库450，并且将对应的元信息60作为检索信息与内容50关联起来。以这种方式，执行将所取得的内容50与所取得的元信息60关联起来进行存储的处理。

(d4：内容的检索)

服务器400响应于任意的查询，从存储于内容数据库450的内容50中检索与查询匹配的内容50。在内容50的检索中，使用与各内容50对应的元信息60。服务器400可以以排名形式对与查询匹配的内容50进行响应，也可以对最匹配的内容50进行响应。以这种方式，服务器400基于所存储的元信息60来检索与所请求的查询匹配的内容。

典型地，移动终端300生成并发送针对服务器400的查询。

图10是用于说明本实施方式的操作辅助系统1中的查询的生成方法的一例的图。

图10的(A)表示在发生了某些异常或事件时，检索用于应对该异常或事件的内容的状况的例子。HMI 200在发生异常或事件时，输出与该发生的异常或事件相关的信息。作为一例，HMI 200显示对用于确定发生的异常或事件的识别信息进行编码而得到的图像代码64(例如QR Code(注册商标)等)。

操作员操作移动终端300，利用拍摄部322拍摄HMI 200的显示部228。由此，移动终端300能够取得用于确定发生的异常或者事件的图像代码64。当操作员按下在移动终端300的显示部328上显示的检索按钮350时，移动终端300将图像代码64原样地发送到服务器400，或者将图像代码64中包含的识别信息作为查询发送到服务器400。这样，从HMI 200输出的信息(例如，图像代码64)能够直接或间接地用作查询。

作为一例，移动终端300(或HMI 200)也可以生成和发送包含用于确定发生的异常或事件的识别信息的查询。

另外，移动终端300(或者HMI 200)也可以按照任意的检索条件来生成查询。

图10的(B)表示除了发生了某些异常或事件时以外，知识、经验少的操作员还接受对HMI 200的操作的辅助那样的状况的例子。在移动终端300中显示有检索词输入栏351、352、353，操作员能够输入任意的字符。

在图10的(B)所示的例子中，在检索词输入栏351中输入错误代码，在检索词输入栏352中输入错误状况，在检索词输入栏353中输入作业内容。

操作员根据检索的目的，在检索词输入栏351、352、353的一部分或全部中输入任意的字符，并按下检索按钮350，由此移动终端300生成包含所输入的字符的内容的查询并发送到服务器400。

通过安装这样的处理，操作员通过输入错误代码、错误状况，能够检索与发生的异常或事件关联的内容50。另外，操作员通过与HMI 200的操作内容相匹配地输入与想要进行的操作、一定的操作过程相关的关键字，能够检索关联的内容50。

在操作辅助系统2中，也可以设为能够指定任意的检索条件。例如，也可以采用以下那样的检索条件。

(1)任意的时间指定(例如，内容的更新日、创建日、异常或者事件的发生日期时间、从当前起的规定时间内更新或者创建的时间等)

(2)任意的图像(例如，通过移动终端300拍摄发生了异常或事件的部位，包含与通过该拍摄得到的图像相似的图像作为元信息60的图像等)

(3)任意的信号或变量的波形数据(检索包含与实际取得的波形数据相似的波形数据作为元信息60的波形数据，过去是否也存在与该波形数据相似的现象等)

另外，移动终端300对查询的生成方法以及发送方法不限于上述方法，能够采用任意的方法。例如，也可以将由移动终端300的拍摄部322拍摄HMI 200的显示部228而得到的图像直接作为查询发送。

作为查询的数据结构，可以采用任意的结构。例如，可以是直接包含自然语言、关键字(例如，井字标签等)这样的检索对象的字符、代码的形式，也可以是REST形式(例如，“http://server/？err＝03”等)。

响应于来自移动终端300的查询，服务器400检索与查询匹配的内容50。

图11是用于说明本实施方式的操作辅助系统1中的检索结果的一例的图。参照图11，将服务器400的检索结果发送到移动终端300。在移动终端300的显示部328上，显示表示与查询匹配的内容50的缩略图356。也可以与缩略图356对应地显示反映了元信息60的内容的说明358。

操作员参照说明358选择认为符合目的的缩略图356，由此移动终端300取得对应的内容50并再现。即，移动终端300再现由操作员选择的内容50。

(d5：内容的再现/操作辅助)

如上所述，当操作员从检索到的内容50的一览中选择任意的内容50时，开始内容50的再现。再现内容50的设备可以是移动终端300，也可以是HMI 200。并且，也可以通过操作员佩戴的任意的设备(例如AR/VR护目镜)进行显示。这样，再现内容50的设备可以是任意设备。

在用移动终端300以外的设备再现内容50的情况下，也可以将操作员选择的内容50的信息从移动终端300发送到任意的设备。

这样，HMI 200、移动终端300以及其他任意设备执行对所选择的内容50进行再现的处理。

除了内容50的再现之外，也可以与内容50的再现联动地对操作员的操作进行辅助。例如，通过利用再现对象内容50所附加的元信息60中包含的操作历史(包含基于操作员的操作对象的场所、进行了操作的时间等)，还能够判断操作员的实际操作与记录在内容50中的操作员的操作之间的一致。作为这样的操作辅助，例如可举出以下那样的操作辅助。

(1)与记录在内容50中的操作员的操作联动，暂时停止内容50的再现。

(2)相对于所显示的内容50，将对应的元信息60的内容以解说或说明文字的形式重叠显示。

(3)为了使实际的操作员能够进行正确的操作，在HMI 200上显示辅助信息(例如，接下来应该点击的位置的提示)，并且在未进行正确的操作的情况下显示警告(例如，应该点击的位置未被点击)。

此外，在进行操作辅助的情况下，也可以不再现内容50自身，而仅利用与内容50相关联的元信息60。即使在这样的情况下，也能够包含在内容50的再现中。

图12是用于说明本实施方式的操作辅助系统1中的利用了元信息60的操作辅助的一例的图。在图12中示出HMI 200利用与操作员选择出的内容50相关联的元信息60所包含的操作历史来显示解说252的例子。更具体而言，在HMI 200的显示部228配置有1个或多个按钮对象250。按钮对象250原本显示于HMI 200。HMI 200除了按钮对象250以外，还参照元信息60来显示用于辅助操作员的操作的解说252。

图12所示的例子中，在一系列的操作中，与接下来应该由操作员选择的按钮对象250相关联地显示包含“接下来选择该按钮”这样的消息的解说252。这样，作为内容50的再现处理的一例，HMI 200也可以基于与所选择的内容50相关联的元信息60(包含操作历史)，在HMI 200的操作画面上追加显示表示应操作的内容的信息(例如，解说252)。

操作员通过参照这样的解说252，能够进行与所选择的内容50中记录的操作员的操作相同的操作。

(d6：处理过程)

接着，对内容的取得和灵活运用所涉及的处理过程进行说明。

图13是表示本实施方式的操作辅助系统1中的内容的取得所涉及的处理过程的序列图。参照图13，HMI 200在检测到某些异常或事件的发生时(序列SQ100)，生成与发生的异常或事件相关的元信息60(序列SQ102)。移动终端300通过任意的方法取得元信息60(序列SQ104)。

移动终端300取得记录有操作员对HMI 200进行的1个或多个操作的内容50(序列SQ106)。移动终端300将所取得的内容50与对应的元信息60关联起来发送到服务器400(序列SQ108)。

服务器400存储从移动终端300发送的内容50和元信息60(序列SQ110)。

图14是表示本实施方式的操作辅助系统1中的内容的灵活运用所涉及的处理过程的序列图。参照图14，HMI 200在检测到某些异常或事件的发生时(序列SQ200)，生成用于确定发生的异常或事件的识别信息(序列SQ202)。然后，移动终端300取得HMI 200生成的识别信息，生成查询(序列SQ206)。

另外，移动终端300在从操作员接受到输入检索条件的操作时(序列SQ204)，基于所输入的检索条件，生成查询(序列SQ206)。

移动终端300将生成的查询发送到服务器400(序列SQ208)。服务器400响应于来自移动终端300的查询，在存储于内容数据库450的内容50中检索与查询匹配的内容50(序列SQ210)。然后，服务器400向移动终端300发送检索结果(序列SQ212)。

移动终端300显示来自服务器400的检索结果(序列SQ214)。然后，移动终端300在从操作员接受到对任意的内容50的选择时(序列SQ216)，取得所选择的内容50和元信息60(序列SQ218)。并且，移动终端300再现所取得的内容50(序列SQ220)。

或者，移动终端300将所取得的内容50和元信息60提供给HMI 200等，HMI 200再现内容50(序列SQ222)。

(d7：内容50的取得所涉及的变形例)

说明了移动终端300取得内容50的例子，但取得内容50的设备不限于此。例如，可以由HMI 200自身创建内容50并发送到服务器400，也可以由与信息系统网络6连接的任意的设备取得内容50。

另外，移动终端300也可以通过图8的(A)以及图8的(C)所示那样的方法，生成内容50，并将生成的内容50向HMI 200进行文件传送。在该情况下，HMI 200也可以将从移动终端300取得的内容50与自身装置生成的元信息60关联起来发送到服务器400。

图15是用于说明本实施方式的操作辅助系统1中的内容的取得的变形例所涉及的处理的图。参照图15，移动终端300通过任意的方法生成记录了操作员的操作的内容50((1)内容生成)。然后，移动终端300将生成的内容50发送到HMI 200((2)内容发送)。

HMI 200生成与最近发生的异常或事件相关的元信息60((3)元信息生成)，将内容50和对应的元信息60关联起来发送到服务器400((4)内容+元信息发送)。

通过这样的过程，能够将内容50存储在服务器400中。

(d8：内容50的取得所涉及的另一变形例)

如上述的图8的(B)所示，在HMI 200生成内容50的情况下，也可以不仅记录发生了某些异常或事件之后的操作员的操作，还记录紧接着发生该异常或事件之前的操作。

图16是用于说明本实施方式的操作辅助系统1中的内容的取得的又一变形例所涉及的处理的图。参照图16，例如，假设操作员进行某些不适当的操作而发生了某些异常。HMI200连续记录规定时间量的操作员的操作，当发生某些异常时，将以发生该异常的时刻为基准的规定时间量的操作作为内容50输出。即，HMI 200在发生某些异常或事件时，生成记录有比该异常或事件的发生时刻靠前的操作的内容50。

而且，HMI 200也可以将包含与发生的异常或事件相关的信息的元信息60自动地附加于所输出的内容50。

附加的元信息60能够包含操作员名、操作时刻、操作对象设备、操作内容、错误信息、PLC的状态信息、PLC内部的参数等。

这样，HMI 200以某种异常或事件的发生为触发，将内容50和对应的元信息60关联起来输出，由此能够使错误发生的原因等的确定容易化。

(d9：内容50的存储所涉及的变形例)

虽然已经说明了内容50和元信息60被存储在服务器400的内容数据库450中的例子，但是内容数据库450可以被配置在任意的设备中。例如，内容50和元信息60的存储目的地可以是HMI 200，也可以是与信息系统网络6连接的任意的储存器。此外，也可以由多个设备存储内容50和元信息60。此外，服务器400也可以在云环境上实现。

(d10：内容50的灵活运用所涉及的变形例)

也可以不由移动终端300，而由HMI 200生成并发送查询。在该情况下，HMI 200生成包含用于确定发生的异常的识别信息的查询，并发送到服务器400。然后，HMI 200既可以显示从服务器400接收到的检索结果，也可以将存储有检索到的内容50的地址发送到移动终端300。

另外，服务器400不仅可以将内容50和对应的元信息60关联起来存储，还可以适当地更新元信息60。例如，可以分析存储在内容数据库450中的内容50和元信息60，并将新的信息附加到元信息60。这样的元信息60的更新可以使用AI等来实现，也可以手动输入。作为新追加的信息，例如，也可以根据各内容50被参照的程度，被参照的程度越大的内容50则越向上位排序。

<E.操作导航>

接着，对操作导航的处理44进行说明。

图17以及图18是用于说明本实施方式的操作辅助系统1中的操作导航所涉及的处理例的图。

参照图17，在HMI 200提供的操作画面中，例如显示用于选择对象操作的选择窗口280。操作员在选择窗口280上选择对象操作。于是，如图18的(A)以及图18的(B)所示，根据所选择的操作，在操作画面上依次提供用于辅助操作的导航显示282。操作员一边参照导航显示282，一边依次按下在操作画面中显示的按钮对象等操作对象。

在图18中示出强调应按下的操作对象的显示方式的例子，但不限于此，也可以显示图12所示的消息，此外，以任意的显示方式显示用于辅助操作的信息即可。

也可以基于上述那样的附加于内容50的元信息60，使用AI等，搜索和决定在各操作中应按下的操作对象。或者，也可以针对各操作，预先决定应按下的操作对象的顺序。

通过在操作画面上提供这样的操作导航，即使是知识、经验少的操作员，也能够容易地进行与熟练的操作员同样的操作。

<F.操作对象的快捷方式创建>

接着，对操作对象的快捷方式创建的处理46进行说明。

“操作对象的快捷方式”是指能够进行与配置于任意的操作画面的操作对象相同的处理以及动作的对象。操作对象的快捷方式可以以参照原始操作对象的形式来安装，也可以以复制原始操作对象的形式来安装。操作对象的快捷方式典型地用于再利用或者再配置操作画面中包含的按钮对象等操作对象等。

图19是表示本实施方式的操作辅助系统1的HMI 200提供的操作画面的一例的示意图。作为一例，HMI 200提供的操作画面构成为能够以页面为单位进行切换。图19的(A)表示选择了页面1的情况下的操作画面的例子，图19的(B)表示选择了页面2的情况下的操作画面的例子。

图19的(A)以及图19的(B)所示的HMI 200的操作画面包含用于选择页面1的按钮对象261、用于选择页面2的按钮对象262、以及用于显示后述那样的对操作对象的快捷方式的按钮对象260。

图19的(A)所示的HMI 200的操作画面是选择了按钮对象261的状态，显示有按钮对象2611～2618。另一方面，图19的(A)所示的HMI 200的操作画面是选择了按钮对象262的状态，显示有按钮对象2621～2628。

通过选择用于指示作为快捷方式的追加的按钮对象268，开始对任意的操作对象的快捷方式的创建。作为操作的一例，当在选择了按钮对象268的期间选择任意的操作对象时，依次追加对所选择的操作对象的快捷方式。

图20是表示本实施方式的操作辅助系统1的HMI 200中的对操作对象的快捷方式创建的一例的示意图。

如图20的(A)所示，当选择按钮对象268时，使快捷方式的创建有效。例如，如图20的(B)所示，选择了按钮对象2612，接着，如图20的(C)所示，选择了按钮对象2617。此外，如图20的(D)所示，在选择按钮对象262并显示页面2的操作画面的状态下，选择按钮对象2621。

即，假设在选择了页面1的按钮对象2612以及按钮对象2617后，选择了页面2的按钮对象2621。然后，如图20的(E)所示，当再次选择按钮对象268时，快捷方式的创建被无效化。通过该一系列的操作，创建针对操作对象的快捷方式。如图20的(F)所示，当选择按钮对象260时，切换为快捷方式的操作画面，在快捷方式的操作画面中显示通过一系列的操作生成的快捷方式。即，生成并显示通过一系列操作选择的按钮对象2612、按钮对象2617和按钮对象2621的快捷方式。

此外，在图19以及图20中，为了便于说明，示出了仅包含1个显示快捷方式的操作画面的例子，但不限于此，也可以准备显示快捷方式的多个操作画面。

这样，操作对象的快捷方式创建的处理46包含如下处理：根据HMI 200的操作画面所包含的多个操作对象中的任意的操作对象的选择，生成汇集地显示该选择出的1个或多个操作对象的另一操作画面。

操作员能够仅将多个操作对象中的用于特定的操作或者特定的用途的操作对象汇集于同一操作画面，因此能够提高操作的效率，并且能够减少操作失误等不良情况的发生。在用于特定的操作或者特定的用途的操作对象遍及多个页面而配置的情况下，特别有效。

<G.页面的书签创建>

接着，对页面的书签创建的处理48进行说明。

“页面的书签”是指用于访问构成操作画面的特定的页面的对象。页面的书签基本上包含用于确定任意的页面的信息。

图21是表示本实施方式的操作辅助系统1的HMI 200提供的操作画面的另一例的示意图。图21所示的操作画面构成为能够以页面为单位进行切换，作为一例，包含6页的操作画面。图21的(A)表示选择了页面1的情况下的操作画面的例子，图21的(B)表示选择了页面2的情况下的操作画面的例子。

图21的(A)和图21的(B)所示的HMI 200的操作画面包含用于分别选择页面1～6的按钮对象261～266。当选择按钮对象261时，显示如图21的(A)所示的操作画面，当选择按钮对象262时，显示如图21的(B)所示的操作画面。

图21的(A)和图21的(B)所示的HMI 200的操作画面包含显示书签的按钮对象270和指示书签的创建的按钮对象271。在显示任意页面的状态下选择按钮对象271，由此所显示的页面被登记为书签。

图22是表示本实施方式的操作辅助系统1的HMI 200中的页面的书签创建的过程例的图。如图22的(A)所示，当在选择了任意页面的状态下按下按钮对象271时，如图22的(B)所示，显示用于输入所生成的书签的属性信息的输入窗口272。输入窗口272包含输入快捷方式的登记编号的输入栏273、输入页面的名称的输入栏274、以及输入所显示的标题的名称的输入栏275。

通过图22所示的创建过程，对象页面被登记为书签。当按下按钮对象270时，显示所创建的书签。

图23是表示本实施方式的操作辅助系统1的HMI 200中的页面的书签的显示例的图。参照图23，当按下按钮对象270时，一览显示预先创建的书签。各书签包含标题276和指示向所登记的页面的转变的按钮对象277。

通过按下按钮对象277，在HMI 200上显示预先登记的页面。

在图23中，作为一例，示出创建了2页的书签的例子，但能够创建的书签的数量没有特别限制。

这样，页面的书签创建的处理48包含如下处理：根据HMI 200提供的多个页面的操作画面中的任意页面的选择，生成包含用于访问该选择出的1个或多个页面的操作对象(书签)的另一操作画面。

通过安装创建页面的书签的处理，能够更容易地进行向用于特定的操作或者特定的用途的操作画面的转变，因此能够提高操作的效率，并且能够减少操作失误等不良情况的发生。

<H.变形例>

在上述的实施方式中，主要例示了由HMI 200、移动终端300、服务器400构成的操作辅助系统1，但不限于此，也可以追加地采用任意的设备，某个设备所承担的功能也可以由其他设备承担。即，只要能够实现上述的各种处理，则可以采用任何硬件的安装方式。

<I.附记>

如上所述的本实施方式包含以下这样的技术思想。

[结构1]

一种操作辅助系统(1)，其面向用于对控制对象进行控制的控制系统(2)，其中，该操作辅助系统具有：

取得单元(200、300)，其取得记录了操作员对HMI即人机界面(200)的操作的内容(50)；

取得单元(200、300)，其取得与所述取得的内容关联的元信息(60)；

存储单元(400)，其将所述取得的内容和所述取得的元信息关联起来进行存储；

检索单元(400)，其基于所述存储的元信息，检索与所请求的查询匹配的内容；以及

再现单元(200、300)，其再现所选择的内容。

[结构2]

根据结构1所述的操作辅助系统，其中，

所述取得单元包含能够以电气方式或光学方式观测所述HMI的操作画面的移动终端(300)。

[结构3]

在结构1所记载的操作辅助系统中，

所述取得单元包含安装于所述HMI的对操作画面进行录像的捕获应用(3124)。

[结构4]

在结构1所记载的操作辅助系统中，

所述取得单元在发生异常或事件时，生成记录了该异常或事件的发生时刻之前的操作的所述内容。

[结构5]

在结构1～4中的任意一项所记载的操作辅助系统中，

所述HMI构成为当发生异常或事件时，输出与该发生的异常或事件相关的信息，

该输出的信息能够直接或间接地作为所述查询来利用。

[结构6]

在结构1～5中的任意一项所记载的操作辅助系统中，

该操作辅助系统还具有按照任意的检索条件生成所述查询的生成单元(200、300)。

[结构7]

在结构1～6中的任意一项所记载的操作辅助系统中，

所述再现单元包含再现所述选择的内容的移动终端(300)。

[结构8]

在结构1～7中的任意一项所记载的操作辅助系统中，

所述元信息包含表示操作员的操作对象的场所和进行了操作的时间的操作历史，

所述再现单元基于与所述选择的内容关联的元信息，在所述HMI的操作画面上追加显示表示应操作的内容的信息(252)。

[结构9]

在结构1～8中的任意一项所记载的操作辅助系统中，

该操作辅助系统还具有第1生成单元(200)，所述第1生成单元(200)根据所述HMI的操作画面所包含的多个操作对象中的任意的操作对象的选择，生成汇集地显示该选择的1个或多个操作对象的第2操作画面。

[结构10]

在结构1～9中的任意一项所记载的操作辅助系统中，

该操作辅助系统还具有第2生成单元(200)，所述第2生成单元(200)根据所述HMI提供的多个页面的操作画面中的任意页面的选择，生成包含用于访问该选择的1个或多个页面的操作对象的第3操作画面。

[结构11]

一种操作辅助方法，由用于对控制对象进行控制的控制系统(2)执行，其中，该操作辅助方法具有以下步骤：

步骤(SQ106)，取得记录了操作员对HMI即人机界面的操作的内容；

步骤(SQ104)，取得与所述取得的内容关联的元信息；

步骤(SQ110)，将所述取得的内容和所述取得的元信息关联起来进行存储；

步骤(SQ210)，基于所述存储的元信息，检索与所请求的查询匹配的内容；以及

步骤(SQ220、SQ222)，再现所选择的内容。

<J.优点>

根据本实施方式的操作辅助系统，能够提供即使是知识、经验少的操作员也能够进行高效且准确的操作的结构。

应该认为此次公开的实施方式在所有方面都是例示而不是限制性的。本发明的范围由权利要求书、而不由上述的说明来表示，意在包含与权利要求书等同的意思以及范围内的所有变更。

标号说明

1：操作辅助系统；2：控制系统；4：控制系统网络；6：信息系统网络；8：因特网；10：现场装置组；12：远程I/O装置；14：继电器组；16：伺服驱动器；18：伺服电机；20：接入点；30：网关；42、44、46、48：处理；50：内容；60：元信息；62、64：图像代码；100：PLC；102、202、302、402：处理器；104：芯片组；106、206、306、406：主存储器；110、210、310、410：储存器；112、212：系统程序；114、214：用户程序；120：控制系统网络控制器；122：信息系统网络控制器；124、224、324：USB控制器；126：存储卡接口；128：存储卡；200：HMI；204：光学驱动器；205：记录介质；208、308、408：总线；220、420：网络控制器；226、326、426：输入部；228、328、428：显示部；250、260、261、262、266、268、270、271、277、2611、2612、2617、2618、2621、2628：按钮对象；252：解说；272：输入窗口；273、274、275：输入栏；276：标题；280：选择窗口；282：导航显示；300：移动终端；311、411：OS；312、412：应用程序；320：无线网络控制器；322：拍摄部；350：检索按钮；351、352、353：检索词输入栏；356：缩略图；358：说明；400：服务器；450：内容数据库；2122：VNC服务器；2124、3124：捕获应用；2126：FTP服务器；3122：VNC客户端；3126：FTP客户端；3128：拍摄应用。

Claims (11)

1.一种操作辅助系统，其面向用于对控制对象进行控制的控制系统，其中，该操作辅助系统具有：

取得单元，其取得记录了操作员对HMI即人机界面的操作的内容；

取得单元，其取得与所述取得的内容关联的元信息；

存储单元，其将所述取得的内容和所述取得的元信息关联起来进行存储；

检索单元，其基于所述存储的元信息，检索与所请求的查询匹配的内容；以及

再现单元，其再现所选择的内容。

2.根据权利要求1所述的操作辅助系统，其中，

所述取得单元包含能够以电气方式或光学方式观测所述HMI的操作画面的移动终端。

3.根据权利要求1所述的操作辅助系统，其中，

所述取得单元包含安装于所述HMI的对操作画面进行录像的捕获应用。

4.根据权利要求1所述的操作辅助系统，其中，

所述取得单元在发生异常或事件时，生成记录了该异常或事件的发生时刻之前的操作的所述内容。

5.根据权利要求1～4中的任意一项所述的操作辅助系统，其中，

所述HMI构成为当发生异常或事件时，输出与该发生的异常或事件相关的信息，该输出的信息能够直接或间接地作为所述查询来利用。

6.根据权利要求1～5中的任意一项所述的操作辅助系统，其中，

该操作辅助系统还具有按照任意的检索条件生成所述查询的生成单元。

7.根据权利要求1～6中的任意一项所述的操作辅助系统，其中，

所述再现单元包含再现所述选择的内容的移动终端。

8.根据权利要求1～7中的任意一项所述的操作辅助系统，其中，

所述元信息包含表示操作员的操作对象的场所和进行了操作的时间的操作历史，

所述再现单元基于与所述选择的内容关联的元信息，在所述HMI的操作画面上追加显示表示应操作的内容的信息。

9.根据权利要求1～8中的任意一项所述的操作辅助系统，其中，

该操作辅助系统还具有第1生成单元，所述第1生成单元根据所述HMI的操作画面所包含的多个操作对象中的任意的操作对象的选择，生成汇集地显示该选择的1个或多个操作对象的第2操作画面。

10.根据权利要求1～9中的任意一项所述的操作辅助系统，其中，

该操作辅助系统还具有第2生成单元，所述第2生成单元根据所述HMI提供的多个页面的操作画面中的任意页面的选择，生成包含用于访问该选择的1个或多个页面的操作对象的第3操作画面。

11.一种操作辅助方法，由用于对控制对象进行控制的控制系统执行，其中，该操作辅助方法具有以下步骤：

取得记录了操作员对HMI即人机界面的操作的内容；

取得与所述取得的内容关联的元信息；

将所述取得的内容和所述取得的元信息关联起来进行存储；

基于所述存储的元信息，检索与所请求的查询匹配的内容；以及

再现所选择的内容。

Images