CN104395843B - 自动操作系统及操作自动化方法 - Google Patents

Abstract

提供一种不必改造装置本身就能够对任意的装置进行自动操作的自动操作系统。该自动操作系统对制造装置(50)自动执行一系列的操作命令，具备：操作顺序制作部(101)，其生成一系列的操作命令；操作顺序执行部(102)，其执行一系列的操作命令；操作信号输出部(103)，其基于所执行的操作命令，将与制造装置(50)的输入装置的操作信号相应的信号发送给制造装置(50)；画面信息取得部(104)，其基于所执行的操作命令，取得在制造装置(50)的显示装置(52)上显示的画面的信息，并进行图像识别；以及操作初始设定部(105)，其取得生成一系列的操作命令时所需的制造装置(50)的信息，并对各个操作命令的设定所需的信息赋予ID并进行登录。

Description

自动操作系统及操作自动化方法

技术领域

本发明涉及自动操作系统及操作自动化方法。

背景技术

在工厂等生产现场，运行着多种多样的制造装置，操作者对各个装置进行操作。为了减轻这样的操作者的作业负担，采用了将操作的一部分或整体自动化的系统(例如专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2011-203954号公报

发明的概要

发明所要解决的课题

但是，为了将操作自动化，需要对制造装置本身实施一些改造。为了对装置本身进行改造，需要该装置的知识，特别是在型号较老的装置的情况下很难应对。此外，一般来说，若对装置本身进行改造，则还存在装置制造商不再保修的问题。

此外，自动化系统的开发需要掌握程序开发知识，但是希望具备装置操作相关知识的操作者即便没有程序开发知识也能够简单地开发自动化系统。

发明内容

于是，本发明的目的在于，提供一种不进行装置本身的改造，就能够对任意装置进行自动操作的自动操作系统。

此外，本发明的目的在于，提供一种即便没有系统程序开发的知识，也能够简单地制作对任意装置进行自动操作的系统的自动操作系统。

解决课题所采用的技术手段

本发明的自动操作系统是对于操作对象装置自动执行一系列的操作命令的自动操作系统，具备：操作顺序制作部，其生成所述一系列的操作命令；操作顺序执行部，其执行所述一系列的操作命令；操作信号输出部，其基于所执行的所述操作命令，将与所述操作对象装置的输入装置的操作信号相应的信号发送给所述操作对象装置；以及画面信息取得部，其基于所执行的所述操作命令，取得在所述操作对象装置的显示装置上显示的画面的信息，并进行图像识别。

根据本发明，能够提供一种不必改造装置本身就能够对任意的装置进行自动操作的自动操作系统。

此外，优选为，具备操作初始设定部，其取得生成所述一系列的操作命令时所需的所述操作对象装置的信息，对各个操作命令的设定所需的信息赋予ID并登录。

由此，能够提供一种即便没有系统程序开发知识也能够简单地制作对任意装置进行自动操作的系统。

此外，优选为，所述操作初始设定部取得所述操作对象装置的全部操作画面，对于在操作的过程中需要的显示信息的位置信息赋予ID，并与图像数据一起登录。

此外，优选为，所述操作初始设定部对于在所述操作对象装置的操作画面上进行键盘输入的区域的位置信息赋予ID，并与所输入的文本数据一起登录。

此外，优选为，所述操作初始设定部对于在所述操作对象装置的操作画面上进行了鼠标操作的位置的位置信息赋予ID，并与鼠标操作的内容一起登录。

此外，优选为，所述操作初始设定部对于在所述操作对象装置的操作画面上进行了手写笔操作的位置的位置信息赋予ID，并与手写笔操作的内容一起登录。

此外，优选为，所述操作初始设定部对于在所述操作对象装置的操作画面上需要识别在画面上显示的颜色的区域的位置信息赋予ID，并与图像数据及颜色信息一起登录。

此外，优选为，所述操作初始设定部对于在所述操作对象装置的操作 画面上显示的字符中的、需要作为文字数据识别的字符赋予ID，并与字符的图像数据一起登录。

此外，优选为，所述操作顺序制作部使用由所述操作初始设定部赋予ID并登录的信息来生成操作命令。

此外，优选为，所述操作顺序制作部具备：图表制作部，其用于制作概念图表，该概念图表具有用于表示特定的系统的概念的概念构件和为了实现所述概念而按照功能的流程构成的实现构件；以及图表变换部，其将由所述图表制作部制作的概念图表变换为控制程序，所述图表制作部基于由操作者经由输入部输入的操作，将包含构成所述概念图表的所述概念构件及所述实现构件在内的多个构件显示在显示部上，并且将与所述构件的每一个相关的信息和规定所述构件彼此的关系的信息显示在所述显示部上。

此外，优选为，所述操作信号输出部基于由所述操作顺序执行部执行的操作命令，将所述操作对象装置的键盘、鼠标或手写笔的操作信号发送给所述操作对象装置。

此外，优选为，所述画面信息取得部基于由所述操作顺序执行部执行的操作命令，将在所述操作对象装置的显示装置上显示的图像和由所述操作初始设定部赋予ID并登录的图像数据进行对照。

此外，优选为，所述画面信息取得部基于由所述操作顺序执行部执行的操作命令，将在所述操作对象装置的显示装置上显示的颜色和由所述操作初始设定部赋予ID并登录的颜色数据进行对照。

此外，优选为，所述画面信息取得部基于由所述操作顺序执行部执行的操作命令，将在所述操作对象装置的显示装置上显示的字符和由所述操作初始设定部赋予ID并登录的文字数据进行匹配。

此外，优选为，具备：模拟部，其使用所述操作对象装置的模拟器执行由所述操作顺序制作部生成的操作命令的实验；以及模拟器生成部，其生成所述操作对象装置的模拟器。

此外，优选为，所述模拟器生成部使用由所述操作初始设定部赋予ID并登录的信息来生成模拟器。

此外，优选为，所述一系列的操作命令是用于使所述操作对象装置正 常停止的一系列的操作，所述操作顺序执行部对多个操作对象装置一并执行正常停止的操作。

本发明的操作自动化方法是对操作对象装置自动执行一系列的操作命令的操作自动化方法，包括：生成所述一系列的操作命令的步骤；以及执行所述一系列的操作命令的步骤，在执行所述一系列的操作命令的步骤中，基于所执行的所述操作命令，将与所述操作对象装置的输入装置的操作信号相应的信号发送给所述操作对象装置，基于所执行的所述操作命令，取得在所述操作对象装置的显示装置上显示的画面的信息，并进行图像识别。

根据本发明，能够提供一种不必改造装置本身就能够对任意的装置进行自动操作的操作自动化方法。

发明的效果

根据本发明，能够提供一种不必进行装置本身的改造，就能够对任意的装置进行自动操作的自动操作系统。

此外，根据本发明，能够提供一种即便没有系统程序开发知识，也能够简单地制作对任意装置进行自动操作的系统的自动操作系统。

附图说明

图1是表示本发明的实施方式1的自动操作系统的构成的框图。

图2是表示本发明的实施方式1的制造装置的操作自动化的顺序的概略的流程图。

图3是表示本发明的实施方式1的在制造装置的显示装置上显示的操作画面的图。

图4是表示本发明的实施方式1的概念图表制作画面的图。

图5是表示在本发明的实施方式1的概念图表制作画面上粘贴构成概念图表的构件的状态的图。

图6是表示显示了本发明的实施方式1的与构成概念图表的构件相关的信息的状态的图。

图7是表示在本发明的实施方式1的概念图表制作画面上粘贴了构成概念图表的多个构件的状态的图。

图8是表示将本发明的实施方式1的规定构成概念图表的构件的相互 关系的信息予以表示的状态的图。

图9是表示本发明的实施方式1的概念图表的一例的图。

图10是表示本发明的实施方式2的自动操作系统的构成的框图。

图11是表示本发明的实施方式2的制造装置的操作自动化的顺序的概略的流程图。

图12是表示本发明的实施例的紧急时一并停止系统的构成的框图。

具体实施方式

实施方式1.

接下来参照附图详细说明用于实施本发明的方式。

图1是表示本发明的实施方式1的自动操作系统10的构成的框图。如图所示，自动操作系统10具备：输入装置11、显示装置12、操作顺序制作部101、操作顺序执行部102、操作信号输出部103、画面信息取得部104、操作初始设定部105、操作顺序存储部106、初始设定存储部107。

自动操作系统10能够使用专用或通用的计算机，该计算机具备CPU、ROM及RAM等存储器、存放各种信息的外部存储装置、输入接口、输出接口、通信接口、以及连接它们的总线。另外，自动操作系统10可以由单一的计算机构成，也可以由经由通信线路相互连接的多个计算机构成。

操作顺序制作部101、操作顺序执行部102、操作信号输出部103、画面信息取得部104、操作初始设定部105相当于通过由CPU执行存放在ROM等中的规定的程序而实现的功能模块。操作顺序存储部106、初始设定存储部107通过外部存储装置安装。

输入装置11是包含鼠标和键盘等的各种指位设备，在操作者对自动操作系统10进行各种信息的输入时使用。

显示装置12是显示器等显示装置，其接受从自动操作系统10的CPU输出的图像信号来显示各种图像。

如图1所示，自动操作系统10经由通信线路与成为操作对象的制造装置50连接。制造装置50具有操作用的输入装置51和显示装置52。输入装置51是操作者为了操作制造装置50而进行各种输入或设定的接口，例如包括键盘、鼠标、手写笔。显示装置52是显示制造装置50的菜单画面或 各种设定画面等的显示器。

对自动操作系统10的各部的功能进行说明。

操作顺序制作部101具有生成针对制造装置50的一系列的操作命令的功能。操作顺序制作部101通过采用概念图表，使得没有系统开发知识的作业者能够进行程序开发。另外，概念图表是表现特定的系统概念、并且用于实现该概念的图表(chart)，由包括表现概念本身的概念构件、表现构成概念的多个子概念的多个子概念构件、用于实现概念及子概念的实现构件在内的多个构件构成。操作顺序制作部101具备图表制作部1011和图表变换部1012。

操作顺序执行部102具有对制造装置50执行由操作顺序制作部101生成的一系列的操作命令(概念图表)的功能。

操作信号输出部103基于对制造装置50执行的操作命令，将与制造装置50的输入装置51的操作信号相当的信号发送给制造装置50。即，操作信号输出部103将信号发送给制造装置50,该信号相当于人对输入装置51(键盘·鼠标·手写笔等)进行了操作时发送给制造装置50的信号。

画面信息取得部104基于对制造装置50执行的操作命令，取得在制造装置50的显示装置52上显示的画面的信息。此外，画面信息取得部104对所取得的图像信息进行图案匹配、色彩匹配、文字识别等图像识别处理。

操作初始设定部105取得生成一系列的操作命令时所需要的制造装置50的信息，进行各种操作命令的初始设定。操作初始设定部105具备：图案识别信息设定部1051、键盘信息设定部1052、鼠标信息设定部1053、手写笔信息设定部1054、文字识别信息设定部1055。

操作顺序存储部106存储针对由操作顺序制作部101生成的制造装置50的一系列的操作命令。具体地，存储有概念图表和变换了概念图表的控制程序。

初始设定存储部107存储由操作初始设定部105制作的初始设定信息。具体地，存储有关于制造装置50的画面信息、键盘信息、鼠标信息、手写笔信息、文字识别信息中的每一个的初始设定信息。

接着，说明自动操作系统10的详细动作和制造装置50的操作自动化方法。图2是表示制造装置50的操作自动化简要顺序的流程图。首先，操 作者使用输入装置11决定想要使操作自动化的制造装置50(步骤S1)。决定制造装置50，例如能够通过在显示装置12上显示成为对象的全部制造装置并在画面上选择来进行。

接着，操作者使用输入装置11进行制造装置50的初始设定(步骤S2)。初始设定是针对画面信息、键盘信息、鼠标信息、手写笔信息、文字识别信息中的每一个进行的。操作初始设定部105根据操作者的操作来制作初始设定信息，并登录在初始设定存储部107中。

首先，使用图3说明制造装置50的画面信息的初始设定。

图3表示在制造装置50的显示装置52上显示的1个操作画面(画面A)。操作者使用输入装置11使显示装置12显示画面A。图案识别信息设定部1051从制造装置50取得画面A的图像数据，并显示在显示装置上12。这时，图案识别信息设定部1051根据制造装置50的显示装置52的特性，来调整取得图像数据时的频率及分辨率，取得清晰的图像。进而，图案识别信息设定部1051对所取得的图像数据赋予图像ID，并登录到初始设定存储部107中。操作者对于与制造装置50的操作有关的全部画面进行登录。

进而，操作者对于与操作有关的各画面，对在操作的过程中所需要的显示信息赋予图案ID并登录显示内容(图像)和显示位置(坐标)。例如，对于图3的画面A，为了在制造装置50的一系列的操作中确认所显示的画面是画面A这一情况，需要确认在图中的区域R1中显示的内容(画面标题)是“画面A”。因此，操作者使用输入装置11指定区域R1，并作为图像图案来登录。图案识别信息设定部1051对区域R1的图像数据赋予图案ID，并与区域R1的位置信息(例如点P的(X，Y)坐标和X方向及Y方向上的长度)一起登录到初始设定存储部107。操作者对于与制造装置50的操作有关的全部画面，登录操作的过程中所需要的显示信息。这样，对于在操作的过程中需要识别显示内容的区域，通过将图像图案和位置信息一起登录并赋予ID，从而仅指定ID就能够指定特定的图像信息。

进而，操作者进行用于识别在制造装置50的画面上显示的颜色的初始设定。例如，在图3的画面A中，操作的过程中需要确认在区域R2上显示的颜色是“蓝色”。因此，操作者使用输入装置11来指定显示有蓝色的状态的区域R2，并作为蓝色图案来登录。图案识别信息设定部1051对区域 R2的图像数据赋予图案ID，并与颜色信息(蓝色)及区域R2的位置信息一起登录到初始设定存储部107。操作者对于与制造装置50的操作有关的全部画面，登录在操作的过程中需要判定所显示的颜色的图案。

这样，对于需要识别在操作的过程中显示的颜色的区域，根据将图像图案、颜色信息及位置信息一起登录，能够根据与登录的图像进行比较，来判定在实际的操作中在区域R2上显示的颜色是否为“蓝色”。一般来说，根据制造装置50的显示装置52的特性及使用年限、或者同一装置中显示器上的位置等，实际显示的颜色即便同为蓝色，也会有微小的差异。因此，通过预先将在规定的区域显示的颜色作为该装置的该区域的“蓝色”进行初始登录，从而能够可靠地判定所显示的颜色。

接着，说明与制造装置50的键盘操作有关的初始设定。

操作者经由输入装置11取得制造装置50的画面(在操作过程中进行了键盘输入的画面)，并在显示装置12上显示。操作者在取得的画面上按照实际的操作进行键盘输入。例如，在图3所示的画面A中，进行向文本框R3输入“ABCABC”的动作。键盘信息设定部1052对进行了键盘输入的区域(文本框R3)的位置信息赋予键盘输入位置ID，并与所输入的文本数据(“ABCABC”)一起登录在初始设定存储部107中。此外，这时键盘信息设定部1052根据制造装置50的特性，调整向制造装置50发送键盘操作信号的速度和发送间隔，并登录在初始设定存储部107中。操作者对于与制造装置50的操作有关的全部画面，登录在操作的过程中需要键盘输入的位置和输入内容。

接下来，说明与制造装置50的鼠标操作有关的初始设定。

操作者经由输入装置11取得制造装置50的画面(在操作过程中进行了鼠标操作的画面)，并使显示装置12显示。操作者在所取得的画面上按照实际的操作进行鼠标操作。例如，在图3所示的画面A中，进行点击按钮B的动作。鼠标信息设定部1053对进行了鼠标操作的区域(按钮B)的位置信息赋予鼠标移动位置ID，并与操作内容(点击次数等)一起登录在初始设定存储部107中。此外，这时鼠标信息设定部1053根据制造装置50的特性进行鼠标的点击动作的速度和鼠标的移动速度的初始设定，并登录在初始设定存储部107中。操作者对于与制造装置50的操作有关的全部画 面，登录在操作的过程中需要鼠标操作的位置和操作内容。

接下来，说明与制造装置50的手写笔操作有关的初始设定。

操作者经由输入装置11取得制造装置50的画面(在操作过程中通过手写笔进行了输入的画面)，并在显示装置12上显示。操作者在所取得的画面上按照实际的操作通过手写笔进行输入。例如，在图3所示的画面A中，通过手写笔选中复选框R4。手写笔信息设定部1054对进行了手写笔操作的区域(复选框R4)的位置信息赋予手写笔移动位置ID，并与操作内容一起登录在初始设定存储部107中。此外，这时手写笔信息设定部1054根据制造装置50的特性，调整向制造装置50发送手写笔操作信号的速度，并登录在初始设定存储部107中。操作者对于与制造装置50的操作有关的全部画面，登录在操作的过程中需要手写笔操作的位置和操作内容。

接下来，说明与制造装置50的文字识别功能有关的初始设定。

操作者对于在制造装置50的画面上显示的字符中的、在操作的过程中需要作为文字数据来识别的部分进行初始设定。例如，在图3的画面A中，有时在操作过程中需要将在区域R5上显示的字符“P51”作为“P51”这一文字数据来发送给制造装置50的上位设备(管理服务器等)。操作者首先使用输入装置11将在区域R5上显示的“P”字符指定为“P”文字数据。文字识别信息设定部1055将在区域R5上显示的“P”图像数据作为制造装置50中的“P”文字登录在初始设定存储部107中。接下来，操作者对于“5”和“1”也同样作为“5”和“1”文字数据来予以登录。

这样，对于在操作的过程中需要作为文字数据识别的文字，将实际显示的字符的图像预先作为文字数据登录，从而能够通过将实际操作中显示的字符与所登录的文字进行比较，来进行文字识别。在OCR(Optical Character Recognition)这样的一般的文字识别技术中，能够准确地识别清晰的字符，但是受到装置的特性或逐年老化等影响，不非只显示清晰的文字。因此，通过预先将实际显示的字符作为该装置的文字数据进行初始登录，从而能够可靠地识别所显示的文字。

通过以上的作业，制造装置50的初始设定大体结束后，接下来操作者使用输入装置11制作制造装置50的操作命令(步骤S3)。操作顺序制作部101根据操作者的操作来制作操作命令，并登录在操作顺序存储部106 中。

使用图4～图8说明制造装置50的操作命令的制作。

首先，操作者从在如图4所示的显示装置12的显示部30上显示的工具条31(与构成概念图表的构件对应的按钮组)中，使用输入装置11选择想要粘贴的构件的按钮。例如，若操作者使用输入装置11(鼠标)点击工具条31中的“开始构件”按钮，则接受了该输入信号的图表制作部1011在显示部30的下部显示“构件选择模式：开始构件”这样的文字。在这样的“构件选择模式”状态下，若操作者使用输入装置11(鼠标)点击位于显示部30的中央部的图表制作画面32，则如图5所示，接受到该输入信号的图表制作部1011在图表制作画面32上粘贴开始构件S(进行显示)。在该时点，“构件选择模式”被解除。

接下来，若操作者点击显示部30的图表制作画面32上粘贴(已被显示的)的开始构件S，则如图6所示，接受到该输入信号的图表制作部1011在位于图表制作画面32的右侧的属性画面33上显示开始构件S的属性列表。操作者使用输入装置11向该属性列表输入开始构件S的属性。例如，若操作者使用输入装置11(键盘)在属性列表的“概要”栏输入“程序开始”，则如图6所示，接受到该输入信号的输入装置11在图表制作画面32的开始构件S的上方显示“程序开始”。

操作者按照与上述顺序相同的顺序，如图7所示，能够在显示部30的图表制作画面32上粘贴其他构件(例如概念构件C1)。然后，操作者使用输入装置11(鼠标)将开始构件S和概念构件C1用线连结。具体地，操作者在将鼠标指针配置于图表制作画面32的开始构件S之上的状态下按压鼠标的左键，保持按压的状态使鼠标指针向概念构件C1移动之后松开左键。如图8所示，接受到这样的输入信号的图表制作部1011显示将开始构件S和概念构件C1连结的线L。以下，可以按照同样的顺序制作概念图表。

按以上方式制作概念图表之后，操作者使用输入装置11进行用于将概念图表变换为规定的控制程序的输入操作。接受到相应的输入操作的图表变换部1012参照概念图表和FA控制语言的对应表，将所制作的概念图表变换为用FA控制语言记述的控制程序。进而，图表变换部1012参照FA控制语言和C语言的对应表，将用FA控制语言记述的控制程序变换为用C语 言记述的控制程序。FA控制语言指的是介于概念图表和C语言之间并能够以日语理解的新的编程语言。图表变换部1012按这样方式得到用C语言记述的控制程序之后，使用C语言编译器将控制程序变换为对象文件，最终制作执行文件。所制作的概念图表、控制程序及执行文件存储在操作顺序存储部106中。

图9是表示概念图表的一例的图。

根据图9的概念图表，按照在画面01中确认区域R1的图案(概念构件C1)、在画面01中用键盘向文本框T1输入“123123”(概念构件C2)、在画面01中将鼠标移动到按钮B1并实施点击操作(概念构件C3)这样的流程来进行操作。

在画面01中进行区域R1的图案确认时，通过利用预先登录到初始设定存储部107中的模块ID，不进行复杂的坐标指定等也能够简单地设定期望的操作。此外，在初始设定的阶段，取得按照每个制造装置50的显示装置的性能调整的图像的频率和分辨率也在此反映。

关于向文本框T1的键盘输入，在初始设定的阶段，预先对键盘输入位置和输入内容赋予ID并进行登录，所以仅指定ID，就能够简单地设定期望的操作。此外，在初始设定的阶段，根据制造装置50的性能调整的操作信号的发送间隔也在此反映。

关于鼠标操作，也在初始设定的阶段对鼠标移动位置和操作内容赋予ID并登录，所以仅指定ID，就能够简单地设定期望的操作。此外，在初始设定的阶段，根据制造装置50的性能调整的鼠标的移动速度和点击速度也在此反映。

同样地，对于手写笔操作，也在初始设定的阶段对手写笔移动位置和操作内容赋予ID并登录，所以仅指定ID，就能够简单地设定期望的操作。此外，在初始设定的阶段，根据制造装置50的性能调整的手写笔的操作信号的发送间隔也在此反映。

此外，对于确认特定的显示区域的颜色的操作，也预先对于对象区域的图像数据和颜色信息赋予ID并进行登录，所以仅指定ID，就能够简单地设定色彩匹配操作。

此外，对于识别所显示的文字的操作，也预先对于对象文字的图像数 据和文字信息赋予ID并登录，所以仅指定ID，就能够简单地设定文字识别的操作。

像这样，预先通过操作初始设定部105进行各操作的初始设定，从而不需要坐标指定等复杂的作业，由此即便没有程序开发的知识，也能够简单地制作概念图表。

接下来，使用由操作顺序制作部101制作的操作命令，执行制造装置50的自动操作(步骤S4)。

若操作者使用输入装置11开始制造装置50的自动操作，则操作顺序执行部102执行存储在操作顺序存储部106中的操作命令的执行文件(编译对概念图表进行变换的控制程序而得的执行文件)，进行制造装置50的自动操作。

操作信号输出部103基于由操作顺序执行部102执行的操作命令，将输入装置51的键盘、鼠标及手写笔的操作信号发送给制造装置50。在执行了键盘操作的情况下，如人用键盘输入文字那样，在输入装置51的显示装置52的显示画面的相应的输入区域(文本框等)自动地显示文本。另外，在通过操作初始设定部105进行初始设定的阶段调整过的操作信号的发送间隔反映于操作命令，操作信号输出部103按照该设定发送信号，所以不会发生所发送的操作信号在制造装置50侧未被正确接收这样的问题。

执行鼠标操作的情况下，在显示装置52的显示画面上鼠标的光标移动至指定部位，进行指定的操作(点击等)。另外，在初始设定的阶段调整过的鼠标的移动速度和点击速度反映于操作命令，操作信号输出部103按照该设定发送信号，所以不会发生所发送的操作信号在制造装置50侧未被正确地接收这样的问题。

执行了手写笔操作的情况下，在显示装置52的显示画面上的指定部位自动执行与人实际用手写笔进行了操作的情况同样的动作。另外，在由操作初始设定部105进行初始设定的阶段调整国的操作信号的发送速度被反映于操作命令，操作信号输出部103按照该设定发送信号，所以不会发生所发送的操作信号在制造装置50侧未被正确接收这样的问题。

画面信息取得部104基于由操作顺序执行部102执行的操作命令，取得在显示装置52上显示的画面的显示信息，进行图案匹配、色彩匹配、文 字识别等。另外，在由操作初始设定部105进行初始设定的阶段，根据每个制造装置50的显示装置的性能来调整取得图像的频率和分辨率，所以不会发生所取得的画面的分辨率差、将图像无法正确识别这样的问题。

执行了模块匹配的操作命令的情况下，将所取得的显示画面上的指定区域的图像与赋予ID并登录在初始设定存储部107中的对应区域的图像数据进行比较。画面信息取得部104在判断为相同图像的情况下继续处理，没有判断为相同图像的情况下进行结束处理等动作。

执行了色彩匹配的操作命令的情况下，将所取得的显示画面上的指定区域的图像与赋予ID并登录在初始设定存储部107中的对应区域的颜色数据(图像数据)进行比较。画面信息取得部104在判断为相同颜色的情况下继续处理，没有判断为相同的情况下进行结束处理等动作。

执行了文字识别的操作命令的情况下，将所取得的显示画面上的特定的文字与赋予ID并登录在初始设定存储部107中的文字数据(图像数据)进行比较。画面信息取得部104在判断为相同文字的情况下继续处理，没有判断为相同的情况下进行结束处理等动作。

如上所述，根据本实施方式，通过从自动操作系统10向制造装置50提供与人操作制造装置的情况下产生的操作信号(键盘信号、鼠标信号、手写笔信号)相应的信号，从而能够代替人的操作而自动操作制造装置。此外，取得在制造装置的显示装置上显示的图像信息，并自动进行模块匹配等图像识别，所以能够代替人一边确认画面一边进行操作这样地方式而自动进行。

此外，由于使向制造装置发送操作信号的处理和取得从制造装置输出的图像信号的处理自动化，所以不需要改造制造装置本身，即便针对年代或制造商不同的装置，也能够同样地应用。此外，由于不改造制造装置，所以还能够避免制造商不再保修等问题。

此外，在制作操作命令时能够使用能够可视且直观地理解算法的概念图表，所以即便没有程序开发知识，也能够简单地制作针对任意制造装置的操作命令。结果，能够以低成本在短时间内使运行着多种多样的制造装置的工厂实现完全的自动化。

进而，对操作命令的生成所需的制造装置的信息进行初始设定，并且 对于各项目赋予ID并进行了登录，所以省略原本在制作操作命令时需要进行的复杂的参数设定，仅指定ID就能够对应。因此，能够更加简化自动化处理。

此外，能够一边确认实际从制造装置取得的画面的变动一边进行初始设定作业，所以即便没有程序开发知识，也能够简单且准确地进行初始设定。

实施方式2.

图10是表示本发明实施方式2的自动操作系统20的结构的框图。与图1相同的附图标记表示对应的构成要素。如图10所示，自动操作系统20除了具备实施方式1的自动操作系统10的构成要素之外，还具备模拟部108、模拟器生成部109及模拟器存储部110。模拟部108及模拟器生成部109相当于通过由自动操作系统20的CPU执行存放在ROM等中的规定程序来实现的功能的模块。模拟器存储部110由外部存储装置来安装。

模拟部108具有使用制造装置的模拟器来执行由操作顺序制作部101生成的操作命令的实验的功能。模拟器生成部109具有自动生成制造装置的模拟器的功能。模拟器存储部110存储由模拟器生成部109制作的模拟器。关于其他各结构的功能，与实施方式1相同。

图11是表示制造装置50的操作自动化顺序的概要的流程图。步骤

S11～步骤S13与实施方式1的处理(图2：步骤S1～步骤S3)相同。在步骤S14中，操作者使用输入装置11生成用于进行在步骤S13制作的操作命令的实验的模拟器。模拟器生成部109根据操作者的操作制作模拟器，并存储在模拟器存储部110中。

操作者使用输入装置11，取出登录在初始设定存储部107中的用于制造装置50的操作的全部画面数据，并在显示装置12上显示。进而，操作者使用输入装置11，与操作实际的制造装置时的画面变动同样地连结所显示的全部画面。模拟器生成部109生成使画面按照操作者连结的顺序变动的模拟器，并存储到模拟器存储部110中。操作者能够在显示装置12上使制作的模拟器实际运行，从而确认是否正确地制作了画面变动。

模拟器的制作和动作确认结束后，执行操作命令的实验(步骤S15)。

操作者使用输入装置11开始执行实验后，模拟部108使用存储在模拟 器存储部110中的模拟器执行操作顺序存储在存储部106中的操作命令的执行文件。操作者能够在显示装置12上确认模拟器的动作，从而确认操作命令是否正确地制作。操作命令的验证结束后，执行制造装置50的自动操作(步骤S16)。

如上所述，根据本实施方式，为了进行所制作的操作命令的实验而制作制造装置的模拟器，从而能够进行操作命令的动作确认。将实际在生产线上运行的制造装置用于操作命令的实验的情况下，为了不妨碍生产，实验的时间非常有限。另一方面，如本实施方式这样能够使用模拟器进行实验，从而不必停止生产线，能够利用充足的时间进行实验。

此外，根据本实施方式，能够利用在初始设定中登录过的制造装置的画面数据来简单地制作模拟器，所以没有程序开发知识的用户也能够自己制作模拟器并进行操作命令的实验。

实施例

作为本发明的实施例，示出在地震发生时等紧急状况下使生产线的全部装置自动地一并停止的系统的例子。在地震等灾害发生时，优先考虑人的生命，所以在使装置运行的状况下直接避难。但是，有些装置使用有毒物质或可燃物质，如果在运行状态下直接放置，则存在放出有毒物质或引起火灾的危险。此外，如果不按照正确的停止顺序进行停止，则在重新使装置运行时需要进行校正作业，从而花费很多的作业时间和成本。因此，作为本发明的实施例，提出了一种在发生紧急事态时通过一个按钮操作来工作的紧急时一并停止系统70。

图12是表示本发明的实施例的紧急时一并停止系统70的构成的框图。如图所示，紧急时一并停止系统70经由通信线路与生产线上的全部制造装置50A、50B、50C、50D连接。制造装置50A、50B、50C、50D分别具有键盘或鼠标等输入装置51A、51B、51C、51D。

紧急时一并停止系统70保持分别使制造装置50A、50B、50C、50D按照正确的顺序停止的操作命令。在发生了地震等紧急事态时，操作者使用紧急时一并停止系统70的输入装置开始执行一并停止。另外，开始执行一并停止是可以通过使用遥控器等的远程操作来进行的，也可以从位于远离的地方的、通过线路(有线或无线)连接在紧急时一并停止系统70的其他 计算机进行操作。

执行一并停止后，从紧急时一并停止系统70对制造装置50A、50B、50C、50D执行一并停止的操作命令。即，与通常由人使用输入装置51A、51B、51C、51D进行的正常的停止操作相应的操作的信号被发送给制造装置50A、50B、50C、50D。

如上所述，根据本实施例，在紧急事态发生时，能够通过最小限度的所需操作将全部装置正常地一并停止。其结果，能够防止二次灾害，并且还能够减轻装置恢复作业的负担。

符号说明

10、20-自动操作系统；11-输入装置；12-显示装置；30-显示部；31-工具条；32-图表制作画面；50-制造装置；50A、50B、50C、50D-制造装置；51-输入装置；51A、51B、51C、51D-输入装置；52-显示装置；70-紧急时一并停止系统；101-操作顺序制作部；102-操作顺序执行部；103-操作信号输出部；104-画面信息取得部；105-操作初始设定部；106-操作顺序存储部；107-初始设定存储部；108-模拟部；109-模拟器生成部；110-模拟器存储部；1011-图表制作部；1012-图表变换部；1051-图案识别信息设定部；1052-键盘信息设定部；1053-鼠标信息设定部；1054-手写笔信息设定部；1055-文字识别信息设定部。

Claims (19)

1.一种自动操作系统，其对于操作对象装置自动执行一系列的操作命令，该自动操作系统具备：

操作顺序制作部，其生成所述一系列的操作命令；

操作顺序执行部，其执行所述一系列的操作命令；

操作信号输出部，其基于所执行的所述操作命令，将与所述操作对象装置的输入装置的操作信号相应的信号发送给所述操作对象装置；

画面信息取得部，其基于所执行的所述操作命令，取得在所述操作对象装置的显示装置上显示的画面的信息，并进行图像识别；以及

操作初始设定部，该操作初始设定部取得生成所述一系列的操作命令时所需的所述操作对象装置的信息，对各个操作命令的设定所需的信息赋予ID并登录,

其中,所述各个操作命令的设定所需的所述信息包括所述操作对象装置的操作画面上的信息。

2.如权利要求1所述的自动操作系统，其中，

所述操作初始设定部取得所述操作对象装置的全部操作画面，对于在操作的过程中需要的显示信息的位置信息赋予ID，并与图像数据一起登录。

3.如权利要求1所述的自动操作系统，其中，

所述操作初始设定部对于在所述操作对象装置的操作画面上进行了键盘输入的区域的位置信息赋予ID，并与所输入的文本数据一起登录。

4.如权利要求1所述的自动操作系统，其中，

所述操作初始设定部对于在所述操作对象装置的操作画面上进行了鼠标操作的位置的位置信息赋予ID，并与鼠标操作的内容一起登录。

5.如权利要求1所述的自动操作系统，其中，

所述操作初始设定部对于在所述操作对象装置的操作画面上进行了手写笔操作的位置的位置信息赋予ID，并与手写笔操作的内容一起登录。

6.如权利要求1所述的自动操作系统，其中，

所述操作初始设定部对于在所述操作对象装置的操作画面上需要识别在画面上显示的颜色的区域的位置信息赋予ID，并与图像数据及颜色信息一起登录。

7.如权利要求1所述的自动操作系统，其中，

所述操作初始设定部对于在所述操作对象装置的操作画面上显示的字符中的、需要作为文字来数据识别的字符赋予ID，并与字符的图像数据一起登录。

8.如权利要求1所述的自动操作系统，其中，

所述操作顺序制作部使用由所述操作初始设定部赋予ID并登录的信息来生成操作命令。

9.如权利要求1所述的自动操作系统，其中，

所述操作顺序制作部具备：

图表制作部，其用于制作概念图表，该概念图表具有用于表示特定的系统的概念的概念构件和为了实现所述概念而按照功能的流程构成的实现构件；以及

图表变换部，其将由所述图表制作部制作的概念图表变换为控制程序，

所述图表制作部基于由操作者经由输入部输入的操作，将包含构成所述概念图表的所述概念构件及所述实现构件在内的多个构件显示在显示部上，并且将与所述构件的每一个相关的信息和规定所述构件彼此的关系的信息显示在所述显示部上。

10.如权利要求1所述的自动操作系统，其中，

所述操作信号输出部基于由所述操作顺序执行部执行的操作命令，将所述操作对象装置的键盘、鼠标或手写笔的操作信号发送给所述操作对象装置。

11.如权利要求1所述的自动操作系统，其中，

所述画面信息取得部基于由所述操作顺序执行部执行的操作命令，将在所述操作对象装置的显示装置上显示的图像和由所述操作初始设定部赋予ID并登录的图像数据进行对照。

12.如权利要求1所述的自动操作系统，其中，

所述画面信息取得部基于由所述操作顺序执行部执行的操作命令，将在所述操作对象装置的显示装置上显示的颜色和由所述操作初始设定部赋予ID并登录的颜色数据进行对照。

13.如权利要求1所述的自动操作系统，其中，

所述画面信息取得部基于由所述操作顺序执行部执行的操作命令，将在所述操作对象装置的显示装置上显示的字符和由所述操作初始设定部赋予ID并登录的字符数据进行匹配。

14.如权利要求1所述的自动操作系统，其中，具备：

模拟部，其使用所述操作对象装置的模拟器执行由所述操作顺序制作部生成的操作命令的实验；以及

模拟器生成部，其生成所述操作对象装置的模拟器。

15.如权利要求14所述的自动操作系统，其中，

所述模拟器生成部使用由所述操作初始设定部赋予ID并登录的信息来生成模拟器。

16.如权利要求1所述的自动操作系统，其中

所述一系列的操作命令是用于使所述操作对象装置正常停止的一系列的操作，

所述操作顺序执行部对多个操作对象装置一并执行正常停止的操作。

17.一种操作自动化方法，在该操作自动化方法中对操作对象装置自动执行一系列的操作命令，该操作自动化方法包括：

生成所述一系列的操作命令的步骤；以及

执行所述一系列的操作命令的步骤，

在执行所述一系列的操作命令的步骤中，

基于所执行的所述操作命令，将与所述操作对象装置的输入装置的操作信号相应的信号发送给所述操作对象装置，

基于所执行的所述操作命令，取得在所述操作对象装置的显示装置上显示的画面的信息，并进行图像识别，以及

取得生成所述一系列的操作命令时所需的所述操作对象装置的信息，并对设定各个操作命令时所需的信息赋予ID并登录的步骤,

其中,所述各个操作命令的设定所需的所述信息包括所述操作对象装置的操作画面上的信息。

18.如权利要求17所述的操作自动化方法，其中，

在生成所述一系列的操作命令的步骤中，使用赋予了所述ID并登录过的信息来生成操作命令。

19.如权利要求17所述的操作自动化方法，其中，具备：

生成所述操作对象装置的模拟器的步骤；以及

执行使用所述模拟器生成的所述操作命令的实验的步骤。