CN117240969A

CN117240969A - 控制方法、图像处理装置、终端装置、记录介质

Info

Publication number: CN117240969A
Application number: CN202310672344.6A
Authority: CN
Inventors: 菅谷隆
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2022-06-13
Filing date: 2023-06-08
Publication date: 2023-12-15
Also published as: JP2023181849A; EP4293559A3; US20230401012A1; US11995360B2; EP4293559A2

Abstract

本发明涉及控制方法、图像处理装置、终端装置、记录介质。提供一种能够不中途结束地执行意图通过RPA的自动化的处理的控制方法。MFP(1000)具有从终端装置(2000)受理控制指示的远程操作模式。终端装置(2000)使MFP(1000)转移到远程操作模式，终端装置受理基于RPA的操作，对MFP(1000)进行控制指示。MFP(1000)在没有与终端装置(2000)的通信的期间成为一定时间时，使远程操作模式超时。另一方面，终端装置(2000)在对MFP(1000)进行了控制指示之后，在比到远程操作模式超时为止的期间短的期间，进行将MFP(1000)维持为远程操作模式的维持控制。

Description

控制方法、图像处理装置、终端装置、记录介质

技术领域

本公开涉及在由图像处理装置和终端装置构成的系统中针对实现基于远程操作模式的控制这一情况的改良。

背景技术

基于远程操作模式的控制是指如下技术：在与图像处理装置连接的外部装置显示与图像处理装置的操作画面相同内容的画面(远程面板)，受理针对远程面板的操作，由此对图像处理装置指示应执行的处理。远程面板既可以用于一般用户的操作，也可以用于图像处理装置的服务人员在图像处理装置的导入时的装置设定、维护管理。

即使图像处理装置的设置目的地不同，服务人员也很少反复进行相同的设置作业、维护管理作业。因此，近年来，正在积极地进行通过利用RPA(Robotic ProcessAutomation：机器人流程自动化)操作远程面板来减轻服务人员的负担的研究。

关于远程面板的现有技术，已知有以下的专利文献1所记载的图像处理装置、终端装置。

现有技术文献

专利文献

专利文献1：日本特开2016-144097号公报

发明内容

发明要解决的问题

然而，在以往的远程操作模式中，图像处理装置使用户对本地面板(本装置的操作面板)的除远程操作以外的操作无效化。然而，由于对本地面板的操作被不必要地长期禁用会很不方便，因此在终端装置的远程面板上没有操作的状况持续，在与终端装置之间没有发生通信的情况下，图像处理装置会通过超时来解除远程操作模式，使对本地面板的用户操作有效。

另一方面，在图像处理装置侧的处理花费时间而远程面板的切换变慢的情况下，向RPA委派操作步骤的程序(称为RPA脚本数据)能够记述为在构成1个操作步骤的脚本与构成下一个操作步骤的脚本之间插入进行处理等待的脚本，等待远程面板的画面内容可靠地切换。

然而，这样在插入了进行处理等待的脚本的情况下，在执行RPA的终端装置侧等待远程面板的切换的期间，不进行对图像处理装置的处理的指示，因此产生以没有来自终端装置的通信为理由，图像处理装置通过超时而解除远程操作模式的情况。若发生这样的远程操作模式的超时导致的远程操作模式解除，则无法维持基于RPA的操作。

远程操作模式的解除的问题并不仅限于图像处理装置侧的处理花费时间的情况。在操作者在图像处理装置的装置设定上费工夫，长时间不进行对图像处理装置的操作的情况下也会产生。

本公开的第1目的在于提供一种控制方法，能够不中途结束地执行意图通过RPA的自动化的处理。

第2目的在于提供一种能够执行上述控制方法的终端装置。

第3目的在于提供一种能够解决与上述控制方法相同的课题的图像处理装置。

第4目的在于提供一种能够使计算机执行上述控制方法的程序。

用于解决问题的方案

上述第1目的通过一种图像处理装置的控制方法实现，该图像处理装置具有从终端装置受理控制指示的远程操作模式，其中，该控制方法包括：第1步骤，使所述图像处理装置转移到远程操作模式；以及第2步骤，所述终端装置受理基于RPA的操作，对所述图像处理装置进行控制指示，所述图像处理装置在没有与所述终端装置的通信的期间成为一定时间时，解除远程操作模式，在所述第2步骤中，在所述终端装置对所述图像处理装置进行了控制指示之后，以比所述一定时间短的周期反复进行与所述图像处理装置的通信。

也可以是，所述通信的反复通过如下方式进行：所述终端装置以比所述一定时间短的周期对所述图像处理装置反复请求与控制指示对应的处理的进展状况报告，所述图像处理装置将针对所述请求的报告返回给所述终端装置。

也可以是，所述进展状况的报告表示所述处理是未完成还是完成，在所述第2步骤中，在所述报告表示处理未完成的情况下，不进行后续的操作，在所述报告表示处理完成的情况下，进行所述后续的操作。

也可以是，所述通信的反复是反复进行表示图像处理装置的操作画面的内容的图像数据的发送，所述终端装置根据从图像处理装置发送的图像数据所示的操作画面的内容是否与刚刚之前发送的图像数据所示的操作画面的内容相同，来判定进行了控制指示的处理是否完成。

也可以是，所述远程操作模式的超时是在所述终端装置与所述图像处理装置之间建立的连接的切断，所述维持控制通过如下方式进行：在所述一定时间内从所述终端装置和所述图像处理装置中的一者向另一者发送用于维持所述连接的信息。也可以是，由所述报告表示的处理的进展状况是所述图像处理装置的面板设定完成还是未完成。

也可以是，在由所述进展状况的报告表示的处理的进展状况表示所述图像处理装置的面板设定的完成的情况下，所述报告表示是正在执行用于在图像处理装置中反映所述面板设定的重启，还是完成了重启。

也可以是，在所述进展状况的报告表示正在执行重启的情况下，所述报告表示重启的剩余时间。

也可以是，由所述进展状况的报告表示的处理的进展状况是委派给所述图像处理装置的任务完成还是未完成。

也可以是，由所述进展状况的报告表示的处理的进展状况除了表示进行了控制指示的任务是完成还是未完成之外，还表示该任务的类别是否伴有打印输出，在进行了控制指示的任务虽未完成但执行中的任务的类别伴有打印输出的情况下，在第2步骤中，通过RPA执行后续的操作。

也可以是，在所述第1步骤中，进一步通知所述远程操作模式是通过基于所述RPA的自动操作进行的远程操作模式，所述控制方法执行第3步骤，在该第3步骤中，在所述图像处理装置受理了所述通知时，使所述图像处理装置的操作面板显示进行基于所述RPA的远程操作模式的意思。

也可以是，在所述第3步骤中，还在与基于所述RPA的所述控制指示对应的处理完成时，使所述操作面板显示该意思。

上述第1目的还通过一种图像处理装置的控制方法实现，该图像处理装置具有从终端装置受理控制指示的远程操作模式，其中，包括：第1步骤，受理来自所述终端装置的请求，转移到远程操作模式；以及第2步骤，在没有与所述终端装置的通信的期间成为一定时间时，解除远程操作模式，在所述第2步骤中，在执行基于来自所述终端装置的指示的任务的期间，即使成为所述一定时间，也不解除而是维持所述远程操作模式。

上述第2目的通过一种终端装置实现，该终端装置对具有远程操作模式的图像处理装置发出控制指示，其中，该终端装置包括：转移部件，使所述图像处理装置转移到远程操作模式；以及指示部件，受理基于RPA的操作，对所述图像处理装置进行控制指示，所述指示部件在没有与所述图像处理装置的通信的期间成为一定时间时，在解除远程操作模式的情况下，在对所述图像处理装置进行了控制指示之后，以比所述一定时间短的周期反复进行与所述图像处理装置的通信。

上述第3目的通过一种图像处理装置实现，该图像处理装置具有从终端装置受理控制指示的远程操作模式，其中，该图像处理装置具备：转移部件，受理来自所述终端装置的请求，转移到远程操作模式；以及解除部件，在没有与所述终端装置的通信的期间成为一定时间时，解除远程操作模式，所述解除部件在执行基于来自所述终端装置的指示的任务的期间，即使成为所述一定时间，也不解除而是维持所述远程操作模式。

上述第4目的通过一种程序实现，该程序使计算机执行对具有远程操作模式的图像处理装置发出控制指示的处理，其中，使计算机执行如下步骤：第1步骤，使所述图像处理装置转移到远程操作模式；以及第2步骤，受理基于RPA的操作，对所述图像处理装置进行控制指示，在没有与所述计算机的通信的期间成为一定时间，所述图像处理装置解除远程操作模式的情况下，在所述第2步骤中，在对所述图像处理装置进行了控制指示之后，以比所述一定时间短的周期，使计算机反复进行与所述图像处理装置的通信。

上述第4目的还通过一种程序实现，该程序向具有从终端装置受理控制指示的远程操作模式的计算机委派处理，其中，所述程序使计算机执行如下步骤：第1步骤，受理来自所述终端装置的请求，转移到远程操作模式；以及第2步骤，在没有与所述终端装置的通信的期间成为一定时间时，解除远程操作模式，在所述第2步骤中，在执行基于来自所述终端装置的指示的任务的期间，即使成为所述一定时间，也不解除而是使计算机维持所述远程操作模式。

发明的效果

在第2步骤中，在对所述图像处理装置进行了控制指示之后，以比到远程操作模式被解除为止的一定时间短的周期，反复进行与所述图像处理装置的通信，因此即使进行了控制指示的处理的执行花费时间，远程操作模式也不会解除。能够通过RPA不中断地执行所意图的处理。

附图说明

图1表示本实施方式的RPA系统的结构。

图2表示终端装置2000的硬件结构。

图3的(a)表示安装于终端装置2000的HDD2005、MFP1000的HDD1005的程序的软件堆栈。图3的(b)表示用于终端装置2000、MFP1000之间的通信的连接。

图4的(a)表示MFP1000侧的处理没有延迟，几乎没有无输入期间的情况下的时序。图4的(b)是MFP的处理时间Et比无输入期间的超时值Ct长的情况。

图5表示能够进行FAX的发送报告画面的发送的脚本例。

图6的(a)表示在选择了FAX作为任务类别的情况下，显示的FAX首页画面3000。图6的(b)表示由RPA工具2500显示的菜单的一例。

图7是表示RPA脚本数据的执行步骤的流程图。

图8是表示MFP的进展状况确认步骤的流程图。

图9的(a)表示在处于执行RPA脚本数据的状态时显示于终端装置2000的远程面板。图9的(b)表示RPA脚本数据的执行完成的状态的远程面板。

图10的(a)表示在第2实施方式中在RPA工具2500、远程面板应用2400、进展状况确认应用1700之间进行的通信时序。图10的(b)表示在第2实施方式中由进展状况确认应用1700发送的多个图像数据。

图11是表示第2实施方式的进展状况确认应用1700的处理步骤的流程图。

图12表示用于进行初始设定的RPA脚本数据的一例。

图13表示用于进行初始设定的RPA脚本数据的一例。

图14表示用于进行初始设定的RPA脚本数据的一例。

图15表示在导入MFP1000时的初始设定中使用的画面。

图16表示第4实施方式的时序图。

图17是表示第4实施方式的RPA工具2500的处理步骤的流程图。

图18是表示进展状况判定的详细的流程图。

图19是表示第4实施方式的进展状况报告请求消息发送步骤的流程图。

图20是表示第4实施方式的进展状况报告请求消息发送步骤的流程图。

图21是表示执行协作设定的情况下的RPA工具2500的主程序的流程图。

图22表示协作设定画面的一例。

附图标记说明

1000、MFP；1000、图像处理装置；1000、终端装置；1001、触摸面板显示器；1005、HDD；1006、RAM；1007、CPU；1008、ROM；1100、硬件；1200、OS；1300、应用；1300、进展状况确认应用；1400、MFP面板应用；1500、任务执行应用；1500、处理执行应用；1600、操作系统控制部；1600、输入系统控制部；1610、无输入期间计时器；1700、进展状况确认应用；2000、终端装置；2200、OS；2210、内核；2220、多窗口系统；2300、应用；2300、1300、应用。

具体实施方式

[1]系统结构

以下，参照附图，对本公开的图像处理装置、终端装置的实施方式进行说明。图1表示本实施方式的RPA系统的结构。如本图所示，RPA系统由MFP1000和终端装置2000构成，实现基于远程操作模式的控制。

MFP(Multifunction Peripheral，多功能外围设备)1000是成为图像处理装置的一方案的图像形成装置，除了针对触摸面板显示器1001的操作之外，还根据来自显示于终端装置2000的远程面板的指示，执行装置设定、任务设定，并根据这些设定来执行任务。在任务中，有扫描、复印、FAX、存储卡打印这样的任务。来自触摸面板显示器1001的操作、来自终端装置2000的远程面板2001D的操作是择一的，在来自远程面板的操作输入有效的期间，来自触摸面板显示器1001的操作输入不有效。

终端装置2000是与MFP1000一起由操作MFP1000的用户使用的装置，将与显示于MFP1000的触摸面板显示器1001的画面1001D相同的远程面板2001D配置在LCD2001上，从用户受理针对该远程面板2001D的操作，将与该操作相应的处理委派给MFP1000。

[2]终端装置2000、MFP1000的硬件结构

在图2中表示终端装置2000的硬件结构。如本图所示，终端装置2000具有：对用户提供对话性操作环境的LCD2001；作为指示设备的一例的鼠标2002、键盘2003；网络I/F2004；安装有各种程序的HDD2005；加载安装于HDD2005的程序中的所需的程序的RAM2006；执行加载于RAM的程序的CPU2007；用于在执行程序时保存所需的设定的闪存ROM2008；以及用于受理对鼠标2002、键盘2003的输入操作的周边I/O2009。

网络I/F2004是进行LAN连接、WAN连接的通信模块。通信模块包括Bluetooth(注册商标)，Wi-Fi、EnOcean、特定小功率(Wi-SUN)等近距离通信模块，通过无线执行操作信息和图像数据收发。

MFP1000也具有与终端装置2000同样的硬件结构(除了触摸面板显示器1001之外，还有图3的(a)所示的网络I/F1004、HDD1005、RAM1006、CPU1007、ROM1008)，在HDD1005中安装有所需的程序。

[3]软件堆栈

图3的(a)表示安装于终端装置2000的HDD2005、MFP1000的HDD1005的程序的软件堆栈。

终端装置2000的软件堆栈成为为终端装置2000的硬件2100配置操作系统(OS)2200、配置应用2300这样的控制层。

MFP1000的软件堆栈也与终端装置2000同样，成为为MFP1000的硬件1100配置OS1200、配置应用1300这样的控制层。

终端装置2000的OS2200以及MFP1000的OS1200执行经由网络I/F2004、1004的基于协议堆栈的数据通信。应用2300、1300通过TCP协议1134、2034、IP协议1124、2024、近距离通信1114、2014建立TCP连接2104，通过TCP连接2104，执行HTTP报文的收发。

TCP连接2104通过如下方式建立：终端装置2000成为主机侧，应用2300指定对方侧的应用1300的TCP端口的端口号和自己的端口号并发出连接请求，应用1300确认从连接侧请求的端口成为连接等待，返回进展状况报告消息。

在终端装置2000上动作的应用2300以及在MFP1000上动作的应用1300使用在连接时由主机侧指定的端口号，将TCP连接2104用于图像数据、操作信息的收发。

另一方面，由于对TCP连接2104设置了时间限制，因此如果在预定时间内没有数据的收发，则TCP连接2104被切断。

(3-1)终端装置2000的软件堆栈

OS2200包括内核2210和多窗口系统2220。

内核2210将RAM2006的多个部分区域分别分配给各应用，启动多个应用，监控各应用的运行。

多窗口系统2220在被委派文件打开、应用的启动时，打开新的窗口，将该窗口内部的区域分配给打开的文件、应用。

作为由内核2210管理的应用2300的代表，有远程面板应用2400、RPA工具2500。

远程面板应用2400在由多窗口系统2220提供的窗口的1个中配置与显示于MFP1000的画面相同的画面即远程面板，使用户进行远程操作。

远程操作通过将MFP1000作为对方侧的数据的收发来实现。该数据收发由表示由操作者对终端装置2000进行的操作的操作数据的发送以及接收到该操作数据的MFP1000切换画面时的切换后(转移后)的画面数据的接收构成。通过反复进行这样的数据收发，在终端装置2000上实现与MFP1000中的画面转移同样的画面转移。

RPA工具2500执行以远程面板应用2400接收到的MFP1000的画面数据为对象的RPA脚本数据2600的制作、以及由基于RPA脚本数据2600的远程操作模式进行的控制。在制作RPA脚本数据2600时，使MFP1000的画面数据显示在远程终端的画面，受理针对该画面数据的用户操作，检测通过该用户操作进行了触摸等输入的位置的坐标，根据检测出的坐标信息制作脚本。反复从这样的坐标信息制作脚本，得到RPA脚本数据2600。

另一方面，在执行RPA脚本数据时，将构成RPA脚本数据的各个步骤的各个脚本的坐标信息发送到远程面板应用，使远程面板应用执行基于该坐标信息的远程操作。

(3-2)MFP1000的软件堆栈

安装于MFP1000的HDD1005的程序也具有与终端装置2000同样的软件堆栈。具体而言，构成为为MFP1000的硬件1100配置OS1200，并配置应用1300。应用1300包括MFP面板应用1400、处理执行应用1500、进展状况确认应用1700，OS1200包括操作系统控制部1600。

MFP面板应用1400与远程面板应用2400对应，通过由操作者对触摸面板显示器1001进行的操作、在远程面板方式中通过远程面板进行的操作中的某一个，使处理执行应用1500执行装置设定、任务所需的处理。

处理执行应用1500按照在MFP面板应用1400中进行的操作输入，执行面板设定，执行将MFP1000设置在营业所时的装置设定、任务。

操作系统控制部1600是OS1200中的基本输入输出程序的1个，进行是通过来自触摸面板显示器1001的本地操作使MFP面板应用1400动作，还是通过来自远程面板应用2400的远程操作使MFP面板应用1400动作的切换。在默认情况下，通过来自触摸面板显示器1001的本地操作使MFP面板应用1400动作。另一方面，如果从RPA工具2500请求启动RPA操作模式，则禁止来自触摸面板显示器1001的本地操作，通过来自远程面板应用2400的远程操作，使MFP面板应用1400进行任务、装置设定。操作系统控制部1600包括无输入期间计时器1610，监视是否持续进行来自远程面板应用2400的操作。无输入期间计时器1610在没有对MFP面板应用1400的远程操作时，开始没有远程操作的无输入期间持续多久的计时，如果该计时值达到预先确定的上限值(超时时间)，则使远程操作模式超时。具体而言，在使来自远程面板应用2400的操作输入无效的基础上，能够进行基于触摸面板显示器1001的操作。

进展状况确认应用1700执行如下控制：在RPA操作模式下，即使无输入期间长时间持续，也阻止操作系统控制部1600向触摸面板显示器1001的切换，维持远程面板应用2400的操作输入。该控制通过与RPA工具2500的协作来进行。以下，参照图4的(a)、(b)的时序图，对维持远程操作模式下的操作输入的控制进行说明。

[4]远程面板应用2400、RPA工具2500的装置协作

图4的(a)表示MFP1000侧的处理没有延迟，几乎没有无输入期间的情况下的时序。

该情况下的时序包括建立RPA工具2500与MFP面板应用1400的连接的阶段、通过远程面板应用2400对MFP面板应用1400指示处理的阶段。

前者的阶段是通过如下方式进行：RPA工具2500向MFP面板应用1400发送MFP连接请求消息2401，作为其响应，MFP面板应用1400向RPA工具2500发送连接许可消息1010。

后者的阶段通过如下方式进行：远程面板应用2400发出第1步骤的指示消息2411，远程面板应用2400将MFP坐标指示2311发送到MFP1000后，作为其响应，从MFP面板应用1400向远程面板应用2400发送面板画面响应消息1011。从MFP面板应用1400接收到MFP坐标指示2311起到发送面板画面响应消息1011为止的时间是MFP1000中的处理时间(将该处理时间设为Et)。另一方面，在接收到MFP坐标指示2311的时间点，无输入期间计时器1610开始无输入期间的计时。Ct是无输入期间的阈值。在图4的(a)的情况下，从MFP坐标指示2311的接收到面板画面响应消息1011的发送为止的时间短，因此无输入期间的计数不会超时。

图4的(b)是从MFP面板应用1400接收到MFP坐标指示2311起到发送面板画面响应消息1031为止的处理时间Et比无输入期间的超时值Ct长的情况。该情况是由于处理执行应用1500对从RPA工具2500指示的处理花费时间，因此TCP连接被切断，无输入期间长时间持续而产生的。

由于处理时间Et变长，因此根据MFP坐标指示2311，无输入期间的计数值成为阈值Ct，在该状态下，对MFP面板应用1400的操作输入从远程操作切换为本地操作。为了避免这样的切换，进展状况确认应用1700开始发送周期P的计时，若经过了控制周期P，则将进展状况报告请求消息2432发送给MFP1000。该发送周期P是比上述无输入期间阈值Ct短的时间(例如，10秒左右)。当发送了进展状况报告请求消息2432时，进展状况确认应用1700返回表示处理未完成的进展状况报告消息1032。

若接收到表示未完成的进展状况报告消息1032，则RPA工具2500在经过发送周期P后再次将进展状况报告请求消息2433发送给进展状况确认应用1700。如果从针对于此的进展状况确认应用1700接收到进展状况报告消息1033，则在经过上述发送周期P后，将进展状况报告请求消息2434发送给MFP1000。由此，即使MFP1000侧的处理需要较长的时间，也能够阻止在其中途处理超时。

当处理执行应用1500结束了由远程面板应用2400指示的处理的执行时，进行按照MFP坐标指示2331的面板画面的切换，将面板画面响应消息1011返回给远程面板应用2400。在所指示的处理结束后，在从RPA工具2500向MFP1000的MFP面板应用1400发送了下一个进展状况报告请求消息2435的阶段，返回处理完成的意思的进展状况报告消息1035。

当从MFP1000通知了表示完成的进展状况报告消息1035时，RPA工具2500执行RPA脚本数据中的下一个脚本，发布第k+1步骤的指示消息2441。

[5]RPA工具2500的处理步骤

(5-1)RPA脚本数据的一例

RPA脚本数据2600包括表示由用户进行的一系列作业的脚本。图5表示用于使MFP1000进行FAX发送的RPA脚本数据的一例。以下，参照图5，对RPA脚本数据的记载例进行说明。

图5的RPA脚本数据的步骤1通过委派为从图6(a)所示的FAX首页画面3000在UI图像“直接输入”的坐标(x1，y1)处产生点击事件的内容的脚本，例如调用PYAutoGUI中的click函数的内容的脚本来记述。click函数的格式如下，在自变量所指定的坐标(x，y)中，以由自变量interval指定的时间间隔，产生由自变量clicks指定的操作事件。

click(x，y，button，clicks＝right/left，interval)

步骤2通过委派为产生输入字符串03-XXX-XXXX的事件的内容的脚本、例如调用PYAutoGUI中的write函数、press函数的内容的脚本来记述。

write函数的格式如下，输出由自变量指定的字符串。

write(“字符串”)：

press函数的格式的理由如下所述，输入由自变量KEYBOARD_KEY指定的键的键码。

press(“KEYBOARD_KEY”)

步骤3由脚本构成，该脚本是委派为从FAX首页画面3000在图像“原稿画质文字”所在的场所的坐标(x2，y2)处产生点击事件的脚本。步骤3与步骤1同样，由调用click函数的脚本构成。

步骤4由委派为从桌面画面在图像“文字/照片”所在的场所的坐标(x3，y3)处产生点击事件的脚本构成，例如与步骤1同样，由调用click函数的脚本构成。RPA工具2500通过解释、执行该步骤4的脚本，向MFP面板应用1400发布表示触摸了坐标(x3，y3)的意思的MFP坐标指示。

步骤5由显示图6的(b)的菜单(RPA菜单)的脚本构成。步骤5的脚本是调用以下的函数的脚本。

Prompt(text＝“字符串”，title＝“字符串”，default＝“字符串”)

该函数弹出自变量title的标题名的菜单，在显示了由自变量text指定的字符串的基础上，受理文本输入，受理OK按钮、Cancel按钮的输入。

在图6的(b)中示出在步骤5中显示的菜单的一例。本菜单包括“FAX发送结束了？”的字符串3210、“向邮件地址发送发送报告画面的截图”的字符串3220，通过OK按钮3230受理FAX发送结束了的指示，通过取消按钮3240受理取消发送报告的发送的意思的指示。

步骤6是获取发送报告画面的截图的内容的步骤。截图的获取使用以下的函数来记述。

Screenshot(“文件名”，region＝(左上坐标，宽度，高度))

从自变量region所指定的左上坐标起，进行宽度×高度的指定范围的截图，将作为结果的像素以由自变量指定的文件名进行保存。从MFP1000发送的画面数据的保存使用该screenshot来执行。在FAX中，有时发送数百张原稿，在RPA脚本数据的步骤中，关于发送报告的发送，有可能花费时间。因此，在步骤6之前，插入进行MFP侧的处理等待的脚本(等待指定)。等待指定是以秒为单位指定等待时间，在此期间使RPA工具进行待机。由此，构成下一顺位以后的步骤的脚本的发布被延迟。

通过插入进行MFP侧的处理等待的脚本，在经过了该等待期间之后进行构成步骤6的脚本向RPA工具2500的发布。

步骤7是将截图的图像文件发送到目的地aaa＠bbb.co.jp的内容的步骤。

[6]基于RPA工具2500的处理步骤

在图7中示出基于RPA工具2500的RPA脚本数据的执行步骤。图7是表示RPA工具2500的处理步骤的流程图。

变量i是指示1个RPA脚本列所示的各个步骤的变量，在从1到m的范围内变化。在本流程中，将该变量i用作控制变量。

基于RPA工具2500的处理步骤成为如下处理构造：进行是否是RPA操作模式的判定(步骤S200)，如果是RPA操作模式(在步骤S200中为Yes(是))，则与MFP1000连接(步骤S201)，在将变量i初始化为1的基础上(步骤S202)，执行步骤S203～S209的循环，如果不是RPA操作模式(在步骤S200中为No(否))，则执行通常的RPA的处理(步骤S213)。

在步骤S203～S209的循环中重复的处理如下。在RPA脚本数据中执行构成第i个步骤的脚本，使远程面板应用2400进行远程面板的操作(步骤S203)。

在i＝1，执行了构成图5的步骤1的脚本的情况下，远程面板应用2400向MFP1000的MFP面板应用1400发送表示UI图像的坐标(x1，y1)的坐标信息。MFP面板应用1400向终端装置2000的远程面板应用2400指示在UI图像被操作输入时应执行的处理、在此为将画面切换为FAX号码输入画面3100。远程面板应用2400指示MFP面板应用1400，使其从图6的(a)的FAX首页画面3000转移到FAX号码输入画面3100。通过将表示转移后的画面的图像数据发送到远程面板应用2400，图6的FAX首页画面3000切换为FAX号码输入画面3100。

重复步骤S204～S205的循环。步骤S204～S205的循环是反复进行是否从MFP1000通知了中断发生(步骤S204)、是否经过了进展状况报告请求消息的发送周期的判定(步骤S205)。步骤S204的中断是指，其他用户按下MFP1000的停止键，使当前执行中的任务的执行停止后，由该其他用户命令任务。在步骤S214中，等待中断处理结束。另一方面，若进展状况报告请求消息的发送周期到来(步骤S205中为Yes(是))，则发送进展状况报告请求消息(步骤S206)，进行进展状况报告消息的接收等待(步骤S207)。如果接收到进展状况报告(在步骤S207中为Yes(是))，则判定接收到的进展状况报告是否表示处理完成(步骤S208)。

在未通知处理完成的情况下(在步骤S208中为No(否))，返回到步骤S204，重复步骤S204～S205。在第i个脚本未完成被通知的期间，重复步骤S204～S208。

当通知了第i个脚本的处理完成时(在步骤S208中为Yes(是))，判定是否有等待的指示(步骤S209)，如果没有等待的指示(在步骤S209中为No(否))，则转移到步骤S211。步骤S211是变量i是否低于变量m的判定。如果变量i小于m(在步骤S211中为Yes(是))，则变量i递增(步骤S212)，执行下一个脚本。

如果在第i个脚本中有等待指定(在步骤S209中Yes(是))，则步骤S210是是否经过了等待时间的判定。在未经过等待时间的情况下(在步骤S210中为No(否))，返回步骤S204，继续步骤S204～S205的循环。

若经过等待时间(在步骤S210中为Yes(是))，则转移到步骤S211。在步骤S211中，判定变量i是否低于m。通过重复步骤S203～S212，即使在脚本中经过了等待的情况下，也能够等待MFP1000中的处理完成。

(6-1)进展状况确认应用1700的处理步骤

图8是表示MFP的进展状况报告请求消息发送步骤的流程图。等待来自RPA工具的连接(在步骤S400中为No(否))，若进行了连接(在步骤S400中为Yes(是))，则在画面上显示为RPA操作模式(步骤S401)。在将变量i初始化为1之后(步骤S402)，判定是否发布了基于MFP坐标指示的指示(步骤S403)，如果发布了(在步骤S403中为Yes(是))，则以后转移到步骤S404～S405的循环。在该循环中，反复进行是否进行了中断(步骤S404)、是否接收到第i个进展状况报告请求消息(步骤S405)的判定。如果有中断(在步骤S404中为Yes(是))，则将有中断的意思通知给RPA工具2500(步骤S411)，执行中断(步骤S412)。

若接收到进展状况报告请求消息(步骤S405中Yes(是))，则针对第i个步骤，判定是否向远程面板应用2400返回了面板画面响应消息(步骤S406)。在返回了面板画面响应消息的情况下(在步骤S406中为Yes(是))，在MFP面板上显示脚本i的执行已完成的意思(步骤S407)，将第i个作业已完成的意思返回给RPA工具2500(步骤S408)。

另一方面，若处理未完成(在步骤S406中为No(否))，则向RPA工具返回未完成(步骤S409)。

图9的(a)表示在处于执行RPA脚本数据的状态时显示于终端装置2000的远程面板。如本图所示，在画面上部显示表示处于RPA动作中的指示器3600，在下部配置受理停止RPA脚本数据的执行的停止按钮3700、受理停止后的再执行的按钮3800。用户在RPA工具2500执行RPA脚本数据时，也观察该远程面板，进行RPA脚本数据是否被正确地执行的监视，如果有问题，则RPA脚本数据的执行能够通过停止按钮3700的按下而停止。

图9的(b)表示RPA脚本数据的执行完成的状态的远程面板。如本图所示，指示器3600切换为RPA处理完成，表示RPA脚本数据执行完成的意思。

(6-2)总结

即使在RPA进入等待较长的期间的情况下，也以低于无输入期间的超时值的周期，如图4的(b)所示，进行进展状况报告请求消息2432、2433、2434、2435、未完成的消息1032、1033、1034、1035的通信，因此对MFP面板应用1400的操作输入不会从远程面板切换到本地面板，而是维持为受理来自远程面板的指示输入的状态。由此，MFP1000侧的处理花费时间，在RPA侧的菜单中等待MFP1000侧的处理完成的情况下，向MFP面板应用1400的输入也不会从远程面板切换到本地面板。因此，即使在MFP1000花费了长时间而结束处理之后，也不中断地执行RPA脚本数据所记载的一系列步骤。

[7]第2实施方式

在第1实施方式中，从MFP1000接收表示由RPA工具2500所委派的处理是否完成的进展状况报告，进行是否指示接下来的步骤的决定。与此相对，在第2实施方式中，将MFP1000的触摸面板显示器1001的内容发送到远程面板应用2400。

(7-1)第2实施方式中的通信时序

图10的(a)表示在第2实施方式中在RPA工具2500、远程面板应用2400、进展状况确认应用1700之间进行的通信时序。本图将图4的(b)的时序图作为基础，仅描绘了图4的(b)的时序图中的从发布第k个步骤的指示消息2431、发布MFP坐标指示2331起到发布第k+1个步骤的指示消息2432、发布MFP坐标指示2433为止的部分。在此期间，在第2实施方式中，进展状况确认应用1700将表示处理中的画面数据1061、1062、1063、1065发送到RPA工具2500。另外，发送表示处理完成的画面数据1065。在反复进行这样的画面数据的发送的期间，向MFP面板应用1400的操作输入成为被切换到远程面板侧的状态，因此RPA工具2500在图像数据1064被发送时，在MFP侧的处理结束时，向MFP面板应用1400指示在远程面板中进行RPA脚本数据中的下一步骤即第k+1个步骤的操作，并进行与该操作相应的处理。

在每个发送周期，发送的图像数据1061～1064的内容如图10的(b)所示，由NowLoading的字符串和配置在其周围的9个圆构成，该9个圆的颜色按各图像数据而变化。通过远程面板应用2400在远程面板上显示该图像数据，可知当前在图像处理装置侧进行了处理。

以后，在图10的(a)中，如果执行RPA脚本数据中记载的全部步骤，从RPA工具2500通知RPA操作模式的解除2433，则在该时间点，进展状况确认应用1700结束表示触摸面板显示器1001的操作画面的图像数据的发送。通过结束图像数据的发送，无输入期间继续，若无输入期间达到超时时间Ct，则操作系统控制部1600将对MFP面板应用1400的操作输入从远程面板切换为触摸面板显示器1001。

(7-2)进展状况确认应用1700的处理步骤

图11是表示第2实施方式的进展状况确认应用1700的处理步骤的流程图。本流程图以图8的流程图为基础，关于变更点，在由图8的步骤S404～步骤S405构成的循环中，将步骤S405置换为步骤S421，作为步骤S421为Yes(是)时的处理，追加了步骤S422。

步骤S421是是否经过了图10所示的发送周期Q的判定，如果经过了(在步骤S421中为Yes(是))，则将表示触摸面板显示器1001的画面内容的图像数据发送到远程面板应用2400(步骤S422)。进展状况确认应用1700通过反复进行这样的发送，以比无输入期间短的周期向远程面板应用2400发送图像数据。

终端装置2000的远程面板应用2400接收从进展状况确认应用1700发送的图像数据，并显示于LCD2001。

以下，对终端装置2000中的RPA脚本数据2600、RPA工具2500进行说明。

(7-3)第2实施方式中的RPA脚本数据

第1实施方式的RPA脚本数据2600以秒为单位明示等待时间，通过以该等待时间进行图像处理装置1000的处理等待的等待指定，使操作指示的发布延迟。与此相对，在第2实施方式中，只要不满足一定的条件，则无时间限制地继续循环。

RPA工具2500在每次发送表示MFP1000的操作画面的图像数据时，判定用于从RPA脚本数据2600的循环脱离的一定条件是否成立，用于从该循环脱离的一定条件是指，在每个发送周期发送的图像数据比刚刚之前的图像数据大幅变化，判断为图像处理装置1000的操作画面转移。

具体而言，RPA工具2500在每次接收新的图像数据时，将接收到的图像数据与刚刚之前接收到的图像数据进行比较，进行不同的像素存在多少的计数。然后，计算不同的像素相对于画面整体的面积成多少的比率。判定这样计算出的比率是否超过阈值。

在如图10的(b)的图像数据1061～1064那样显示表示处理等待的动画的情况下，在被发送的各图像数据中存在内容不同的像素。然而，在图10的(b)的动画中，各个画面的不同是一部分圆的色彩的不同，内容发生了变化的像素相对于画面整体的比率小于阈值。

另一方面，在图像数据的内容从图10的(b)那样的表示动画的图像数据1961～1064切换为表示操作画面的图像数据1065的情况下，内容变化的像素相对于画面整体的比率为阈值以上。

通过这样的比率的计算、与阈值的比较，判定MFP1000中的操作画面的切换。

如上所述，根据本实施方式，根据图像数据的内容是否比刚刚之前的图像数据大幅变化，不等待经过通过等待指定而明示的等待时间，而执行下一个操作，因此能够在恰当的时机使MFP1000执行RPA脚本数据中规定的各个步骤。

[8]第3实施方式

在本实施方式中，通过RPA对将MFP1000导入到营业所时的初始设定进行自动化。图12～图14表示用于进行初始设定的RPA脚本数据的一例。假定这些脚本操作图15所示那样的设定画面。图15表示在导入MFP1000时的设定中使用的画面。该画面中有服务画面5100、管理员画面5200。这些包括各种设定项目，服务人员在MFP1000的导入时，服务人员需要依次设定这些设定项目。

(8-1)成为装置设定的对象的画面

图15的服务画面5100包括序列号5110、密码5120、认证设定5130、第1系统设定5140、第2系统设定5150，若点击序列号5110，则能够调用显示器小键盘5111，若点击认证设定5130，则能够调用CE验证功能5131、管理员密码5132。

第1系统设定5140能够调用包含目的地设定5141、序列号输入5142的菜单。第2系统设定5150能够调用包括软件开关设定5151、ADF安装设定5152以及储存器类型设定5153的菜单。

管理员画面5200包括设定菜单5210和安全设定5220，设定菜单5210能够调用管理员设定5211，安全设定5220能够调用简易安全设定5221。

(8-2)用于装置设定的RPA脚本数据

图12表示在装置的初始设定中，实现从ROM版本确认到CE认证功能5131、目的地设定、软件SW设定为止的一系列步骤的脚本列。步骤1由脚本构成，该脚本进行安装于MFP1000的ROM1008的固件的版本的确认显示。

步骤2包括从访问MFP1000的制造商的官方网站的内容的URL下载适于MFP1000的版本的固件，并写入到与终端装置2000连接的存储卡的内容的脚本。通过该步骤的脚本，在存储卡中写入固件，因此操作者将写入了新的版本固件的存储卡连接到MFP1000，使MFP1000进行来自存储卡的版本升级。如果来自存储卡的版本升级结束，则操作由本步骤提示的画面而结束处理。由于固件的下载以及固件的拷贝花费时间，因此在步骤3的发布之前，插入了等待MFP1000侧的处理的wait指定的脚本。

步骤3是从服务画面在序列号5110的坐标(x1，y1)处产生点击事件的步骤，步骤4由产生字符输入的事件的脚本构成。

在步骤5中，从服务画面5100在认证设定5130的坐标(x2，y2)处产生点击事件。

在步骤6中，从服务画面5100在CE认证功能5131的场所的坐标(x3，y3)处产生点击事件，在步骤7中，从服务画面5100在第1系统设定5140的场所的坐标(x4，y4)处产生点击事件。

步骤8由从第1系统设定5140在目的地设定5141的场所的坐标(x5，y5)处产生点击事件的脚本构成，步骤9由产生对目的地进行字符输入的意思的事件的脚本构成。

步骤10由从服务画面5100在第2系统设定5150的场所的坐标(x6，y6)处产生点击事件的脚本构成，步骤11由在软件开关设定5151的坐标(x7，y7)处产生点击事件，对软件SW的设定值进行字符输入的脚本构成。

在以上的过程中，应储存于ROM1008的固件的备份需要用户的专门的判断，需要用户的判断、手动操作，花费时间。由于在RPA工具2500与MFP面板应用1400之间反复进行图4的(b)所示的进展状况报告请求消息的发送和进展状况报告的发送，因此即使在用户在序列号输入上费工夫的情况下，对MFP面板应用1400的操作输入也不会切换到触摸面板显示器1001，维持受理来自远程面板应用2400的操作输入的状态。

图13表示从序列号输入受理管理员密码5132、ADF安装设定5152、储存器类型设定5153的一系列的步骤。步骤12由提示序列号输入5142并提醒输入的脚本构成。步骤12的脚本是调用PYAutoGUI的以下函数的脚本。

Prompt(text＝“字符串”，title＝“字符串”，default＝“)

该函数弹出将自变量title作为标题名的菜单，在显示了由自变量text指定的字符串的基础上，受理文本输入，受理OK按钮、Cancel按钮的输入。序列号的输入使用该Prompt来记述。

由于序列号输入画面的输入花费时间，因此在步骤13的发布之前，插入了进行MFP1000侧的处理等待的意思的wait指定。

步骤13由在服务画面5100的场所的坐标(x2，y2)处产生点击事件的内容的脚本构成。

步骤14是在管理员密码5132的坐标(x12，y12)处产生点击事件的脚本，产生对在装置间共用的密码进行字符输入的事件。步骤15由在第2系统设定5150的场所的坐标(x6，y6)处产生点击事件的脚本构成。

步骤16由在ADF安装设定5152的场所的坐标(x14，y14)处产生点击事件的脚本构成。

步骤17由在所安装的ADF的场所的坐标(x15，y15)处产生点击事件的脚本构成。

步骤18由在储存器类型设定5153的坐标(x16，y16)处产生点击事件的脚本构成。步骤19由在“所安装的储存器”的场所的坐标(x17，y17)处产生点击事件的脚本构成。

在通过以上的步骤输入的信息中，序列号是装置固有的，必须另外准备记载在手册、包装等上的信息，用户使用键盘2003进行输入。因此，在图13的脚本列中，在步骤12中提示序列号输入画面，在促使用户输入序列号后，执行wait指定。由此，在RPA工具2500与MFP面板应用1400之间，反复进行图4的(b)所示的进展状况报告请求消息的发送和进展状况报告的发送，因此即使在用户在序列号输入上费工夫的情况下，对MFP面板应用1400的操作输入也不会切换为触摸面板显示器1001，维持受理来自远程面板应用2400的操作输入的状态。

图14表示根据重启指示进行管理员设定、安全设定的一系列的步骤。在步骤20中，提示重启指示画面而提醒输入。

步骤20的脚本通过调用Alert函数而构成。

在步骤21中，在管理员画面5200的调用按钮的坐标(x21，y21)处产生点击事件，在步骤22中，在设定菜单5210的坐标(x22，y22)处产生点击事件，在步骤23中，在管理员设定5211的坐标(x23，y23)处产生点击事件。在步骤24中，在安全设定5220的坐标(x24，y24)处产生点击事件，在步骤25中，在简单安全设定5221的坐标(x25，y25)处产生点击事件。在步骤26中，在安全警告显示的坐标(x26，y26)处产生点击事件。在步骤27中，在“OFF”的坐标(x27，y27)处产生点击事件。

在以上的步骤中，MFP1000的重启需要用户的手动作业。因此，在图14的脚本列中，在步骤20中提示重启指示5230，在将重启操作提示给用户后，执行wait指定。由此，在RPA工具2500与MFP面板应用1400之间，反复进行图4的(b)所示的进展状况报告请求消息的发送和进展状况报告的发送，因此即使在用户在重启上费工夫的情况下，对MFP面板应用1400的操作输入也不会切换为触摸面板显示器1001，维持受理来自远程面板应用2400的操作输入的状态。

(8-3)总结

如上所述，根据本实施方式，能够使用RPA脚本数据自动地进行在导入图像处理装置时的各种设定值的输入、设定、变更。

[9]第4实施方式

在第1实施方式中，从MFP1000接收表示由RPA工具2500所委派的处理是否完成的进展状况报告，进行是否指示下一步骤的决定。与此相对，在第4实施方式中，RPA工具2500进行用于维持终端装置2000与MFP1000的连接状态的发送。

(9-1)终端装置2000与MFP1000的连接状态

终端装置2000与MFP1000的连接状态是指，在图3的(b)所示的协议堆栈中建立TCP连接的状态。

在物理层中，由于经由近距离通信，因此TCP连接超时的时间被设定得比较短。这样的TCP连接的超时导致远程操作模式的超时，因此在本实施方式中，执行维持该连接状态的控制。

(9-2)第4实施方式的时序

图16表示第4实施方式的时序图。本图以图4的(b)为基础。与图4的(b)的不同点在于，RPA工具2500在每次经过周期R时，发送连接状态维持数据2451、2452、2453、2454，但进展状况确认应用1700不发送进展状况报告消息，成为单向的发送。这样，作为用于TCP连接的连接维持的信息，能够使用ICMP指令、Ping指令。

图17是表示第4实施方式的RPA工具2500的处理步骤的流程图。本图以图7为基础，仅示出了其差异。与图7的差异在于，步骤S205置换为步骤S221，作为步骤S221为Yes(是)时执行的步骤，代替步骤S206、S207而追加了步骤S222、步骤S223。

步骤S221是用于维持TCP连接的连接状态维持数据的发送周期是否到来的判定，若发送周期未到来(在步骤S221中为No(否))，则重复步骤S204、S221的循环。在发送周期到来的情况下(在步骤S221中Yes(是))，发送连接状态维持数据(步骤S222)，之后，在步骤S223中判定远程面板应用2400是否接收到面板画面响应消息。如果是未接收到(在步骤S223中为No(否))，则转移到步骤S204。如果已经接收到面板画面响应消息(步骤S223中为Yes(是))，则转移到步骤S209。

(9-3)总结

如上所述，根据本实施方式，在远程面板应用2400、RPA工具2500之间维持TCP连接，因此对MFP面板应用1400的操作输入不切换为触摸面板显示器1001，维持受理来自远程面板应用2400的操作输入的状态。

[10]第5实施方式

在第1实施方式中，从MFP1000接收表示由RPA工具2500所委派的处理是否完成的状态信息，进行是否指示下一步骤的决定。与此相对，在本实施方式中，通过来自MFP1000的进展状况报告消息来表示MFP1000的处理进展到哪里。

(10-1)进展状况确认应用的流程图

在本实施方式中，进展状况确认应用1300按照图18、图19的流程图进行进展状况的确认。

图18是表示进展状况判定的详细情况的流程图。步骤S501是是否处于面板设定中的判定，步骤S502是所指示的作业是否为任务的判定。

如果是面板设定中(在步骤S501中Yes(是))，则在步骤S505中，将进展状况报告设为面板设定中。如果不是面板设定中(在步骤S501中为No(否))，面板设定完成，则在步骤S502中，判定所指示的作业是任务还是初始设定。如果是任务(在步骤S502中为Yes(是))，则执行步骤S503、S504。

步骤S503是是否处于任务执行中的判定，步骤S504是任务类别是否为打印系统的判定。

任务类别有以图像数据的打印为主体的类型(打印系统)和不进行图像数据的打印而以图像数据的生成以及发送为主体的类型(非打印系统)这2种。

在进展状况报告消息表示处于任务执行中、是非打印系统的情况下，步骤S503为Yes(是)，步骤S504为No(否)，将进展状况报告消息设为面板设定完成·任务执行中·非打印系统(步骤S508)。在进展状况报告表示处于任务执行中、是打印系统的情况下，步骤S503为Yes(是)，步骤S504为Yes(是)，将进展状况报告消息设为面板设定完成·任务执行中·打印系统(步骤S507)。在不是任务执行中的情况下(在步骤S503中为No(否))，将进展状况报告消息设为面板设定完成、任务执行完成(步骤S506)。

图19表示在步骤S502中被设为No(否)，进行了初始设定的情况下的进展状况报告的处理步骤。

步骤S510是所指示的作业是否为初始设定的判定，步骤S511是是否为初始设定中的判定，步骤S512是是否需要重启的判定，步骤S513是是否为重启中的判定。

如果是初始设定中，则步骤S511为Yes(是)，在步骤S521中，将进展状况报告消息设为面板设定完成·初始设定中。如果初始设定完成但不需要重启，则步骤S511为No(否)，步骤S512为No(否)，在步骤S522中，将进展状况报告消息设为面板设定完成·初始设定完成·不需要重启。如果初始设定完成，需要重启并是重启中(步骤S513中Yes(是))，则在步骤S523中，将进展状况报告消息设为面板设定完成·初始设定完成·重启中。另外，将重启所需的时间包含在进度情况报告消息中。如果初始设定完成、需要重启、重启完成(步骤S513中为No(否))，则在步骤524中，将进展状况报告消息设为初始设定完成、需要重启、重启完成。

(10-2)第5实施方式的RPA工具2500的流程图

在图20中示出第5实施方式的RPA工具2500的处理步骤。图20的流程图与图7的不同之处在于，代替步骤S205～步骤S201而设置了步骤S240～S243。

在本实施方式中，如果有等待时间的指定，则转移到步骤S204、步骤240、步骤S242的循环。步骤S240是进展状况报告请求消息的发送周期是否到来的判定，步骤S241是进展状况报告请求消息的发送，步骤S242是是否接收到进展状况报告消息的判定。如果进展情况请求的发送周期没有到来，则重复步骤S204～步骤S240的循环。如果发送周期到来(在步骤S240中为Yes(是))，则发送进展状况报告请求消息(步骤S241)，进行是否接收到进展状况报告消息的判定(步骤S242)。如果未接收到进展状况报告消息(在步骤S242中为No(否))，则返回步骤S204。如果接收到(在步骤S242中为Yes(是))，则转移到步骤S243～S245。

步骤S243是进展状况报告所示的进展状况是否为面板设定中的判定，步骤S246是是否表示面板设定完成的判定，步骤S247是是否为打印系统的判定。进展状况报告消息表示面板设定，如果面板设定完成、任务完成，则步骤S243为No(否)，步骤S245为任务，步骤S246为Yes(是)，转移到步骤S211。

在进展状况报告消息表示面板设定、面板设定完成、任务动作中、打印系统的情况下，步骤S243为No(否)，步骤S245为任务，步骤S246为No(否)，步骤S247为Yes(是)，而转移到步骤S211。在该情况下，能够进行下一步骤的指示。

如果进展状况报告消息表示面板设定完成、任务动作中、非打印系统，则步骤S243为No(否)，步骤S245为任务，步骤S246为No(否)，步骤S247为No(否)，而转移到步骤S204。

步骤S248是是否处于初始设定中的判定。步骤S249是是否需要重启的判定，步骤S250是是否重启完成的判定。如果面板设定完成，但处于初始设定中，则步骤S245为No(否)(初始设定)，步骤S248为Yes(是)，而转移到步骤S204。

在面板设定完成、初始设定完成而不需要重启的情况下，步骤S245为No(否)(初始设定)，步骤S248为No(否)，步骤S249为No(否)，而转移到步骤S211。

在面板设定完成，初始设定完成，需要重启而重启未完成的情况下，步骤S245为No(否)(初始设定)，步骤S248为No(否)，步骤S249为Yes(是)，步骤S250为No(否)。在该情况下，等待经过进展状况报告所示的重启时间(在步骤S251中为No(否))，若经过(在步骤S251中为Yes(是))，则转移到步骤S211。在面板设定完成，初始设定完成，需要重启而重启完成的情况下，步骤S245为No(否)(初始设定)，步骤S248为No(否)，步骤S249为Yes(是)，步骤S250为Yes(是)。在该情况下，转移到步骤S211。

(10-3)总结

如上所述，根据本实施方式，在进展状况报告中示出在MFP1000中面板设定是否结束、是否执行打印系统的任务、是否初始设定完成而正执行重启等MFP1000中的作业的进展状况，因此能够缩短RPA脚本数据中的各个作业指示的发布间隔。

[11]变形例

以上，基于实施方式对本发明进行了说明，但本发明当然不限定于上述实施方式，可考虑以下的变形例。

(1)期望的是，在RPA工具2500启动之前执行协作设定。在图21中示出执行协作设定的情况下的RPA工具2500的处理步骤。

首先，对装置协作设定画面进行显示(步骤S101)，之后，等待进行设定输入(步骤S102)。图22表示协作设定画面的一例，协作设定画面包括表示是否进行与MFP1000的协作的指定的复选框2101、能够进行MFP1000的IP地址的输入的输入栏2102、用户名的输入栏2103、密码输入栏2104，构成为受理针对键盘的字母数字输入，若在该画面中按下保存按钮2015，则能够保存所输入的用户ID、密码，省略密码输入。

如果进行了设定输入(在步骤S102中为Yes(是))，则执行协作设定(步骤S103)，显示RPA脚本数据的制作按钮、执行按钮(步骤S104)。接下来，受理执行触摸面板显示器的制作、执行中的哪一个的选择(步骤S105)。如果是RPA脚本数据的制作，则获取在远程面板2001D上进行的操作(步骤S106)，将获取的一系列的操作分别变换为脚本(步骤S107)，保存由通过变换得到的脚本构成的RPA脚本数据(步骤S108)。

之后，显示提示进行Wait指定的意思的画面(步骤S109)，等待指定应设定Wait的脚本(步骤S110)。如果被指定，则在RPA脚本数据中指定的脚本之前，插入Wait指定(步骤S111)。经过以上处理后，返回到步骤S102的循环。在执行RPA脚本数据的情况下，进行所保存的RPA脚本数据的一览显示(步骤S121)，进行是否选择了RPA脚本数据的判定(步骤S122)。如果RPA脚本数据被选择(在步骤S122中为Yes(是))，则执行所选择的RPA脚本数据(步骤S123)。

(2)在各实施方式中，通过以比到远程操作模式超时为止的一定时间短的发送周期，RPA工具2500以及进展状况确认应用1700进行通信，从而维持远程操作模式，但不限于此。也可以通过使输入系统控制部1600进行远程操作模式特有的控制，来维持远程操作模式。具体而言，任务执行应用1500按照在远程操作模式下从终端装置进行的控制指示，在执行任务的期间，即使没有与终端装置2000的通信，也不进行输入系统从远程面板向本地面板的切换，维持远程操作模式不变。由此，能够减少MFP1000与终端装置2000之间的数据通信量。

(3)将包含在RPA制作模式下RPA工具2500所制作的RPA脚本列的脚本文件写入、储存于终端装置2000的HDD2005，但不限于此。也可以将包含在RPA制作模式下RPA工具2500所制作的RPA脚本列的脚本文件写入MFP1000的内置储存器。在RPA执行模式中，从储存在作为MFP1000的内置储存器的HDD1005中的文件中，读出附有脚本文件特有的扩展名的文件，并在终端装置2000的LCD2001中供一览显示。并且，也可以执行一览显示的RPA脚本列中的由用户选择的RPA脚本列。

也可以将包含在RPA制作模式下RPA工具2500所制作的RPA脚本列的脚本文件写入并储存到外部网络中的服务器装置的储存器中。

(4)作为脚本，能够利用Python(注册商标)、VBScript(注册商标)、VB.NET(注册商标)、GAS(注册商标)、C#(注册商标)。

VBScript(注册商标)是也在Winactor中利用的语言。VB.NET(注册商标)是UiPath中使用的Visual Basic语言，适合操作Office产品。

GAS(注册商标)是基于JavaScript开发的编程语言，能够协作或操作Google(注册商标)地图、邮件、电子表格等服务。

C#(注册商标)是微软公司开发的编程语言，能够利用用于操作Windows的API。

并不限于此，只要是能够无编译、链接地执行的语言，就也可以使用其他编程语言。

(5)也可以通过用RPA脚本数据记述按照介质传感器的检测结果的纸张设定并使RPA工具2500执行，从而自动地设定装填于供纸盒的纸张种类。介质传感器通过光学传感器、红外线传感器、超声波传感器测定绿色(G)光的反射率、近红外光(Ir)的透射率、蓝色光(B)的透射率、超声波的透射率，根据这些反射率、透射率，判定用于打印的片材的类别是再生纸、涂布纸、信封中的哪一个。

在利用介质传感器进行检测时，在画面上显示表示这样检测出的纸种的字符串，因此将检测出的字符串设定为对应的供纸盒的纸张类别。由此，即使不经由人手，也能够将介质传感器的检测结果反映到供纸盒的纸张类别中。由于该介质传感器的检测有时花费时间，因此在绘入检测结果的脚本之前放入wait指定。由此，即使介质传感器的检测花费时间，对MFP面板应用1400的操作输入也不会切换为触摸面板显示器1001，维持受理来自远程面板应用2400的操作输入的状态。

(6)MFP1000中的进展状况报告的明示也可以使用画面编号。画面编号是指，指示在触摸面板显示器1001上显示的各层画面的编号，表示RPA脚本数据的各个步骤的脚本表示成为自身的对象的画面编号。进展状况确认应用1700在发送进展状况报告时，获取当前显示于触摸面板显示器1001的画面的画面编号，将包含该画面编号的进展状况报告返回给RPA工具2500。这样，通过返回当前的画面编号，能够确认是否成为可以执行构成RPA脚本数据的脚本的状态，RPA工具2500能够等待MFP1000中的画面可靠地转移，对MFP1000指示下一步骤的执行。

(7)期望的是，执行RPA脚本数据中的等待时间是否比无输入期间的超时值短的判定。然后，在指定的等待时间比无输入期间的超时值长的情况下，如第1实施方式所示，在对MFP1000指示了处理之后，按上述的每个周期进行进展状况报告请求消息的发送。在指定的等待时间比无输入期间的超时值短的情况下，在对MFP1000指示处理后，等待经过等待时间，进行上述的每个周期的进展状况报告请求消息的发送。

(8)在终端装置2000中，作为受理用户的操作的指示设备，使用了鼠标、键盘，但不限于此。可以是小键盘，触笔。

(9)需要说明的是，作为图像处理装置，说明了作为图像形成装置的MFP的例子，但不限于此。也可以是单功能的扫描仪、传真装置。既可以设于生产打印装置，此外，也可以设为设置于标签印刷机、明信片印刷机、售票机的结构。另外，也可以设为设于单功能的复印机、个人计算机的单功能的外围设备(打印机)的结构。

产业上的可利用性

本发明能够使用RPA使将图像处理装置导入营业所时的装置设定、对图像处理装置执行任务时的面板设定自动化，因此有可能在以OA设备、信息设备的产业领域为首的零售业、租赁业、房产业、广告业、运输业、出版业等各种行业的产业领域中利用。

Claims

1.一种图像处理装置的控制方法，该图像处理装置具有从终端装置受理控制指示的远程操作模式，其特征在于，该控制方法包括：

第1步骤，使所述图像处理装置转移到远程操作模式；以及

第2步骤，所述终端装置受理基于RPA即机器人流程自动化的操作，对所述图像处理装置进行控制指示，

所述图像处理装置在没有与所述终端装置的通信的期间成为一定时间时，解除远程操作模式，

在所述第2步骤中，在所述终端装置对所述图像处理装置进行了控制指示之后，以比所述一定时间短的周期反复进行与所述图像处理装置的通信。

2.根据权利要求1所述的控制方法，其中，

所述通信的反复通过如下方式进行：所述终端装置以比所述一定时间短的周期对所述图像处理装置反复请求与控制指示对应的处理的进展状况报告，所述图像处理装置将针对所述请求的报告返回给所述终端装置。

3.根据权利要求2所述的控制方法，其特征在于，

所述进展状况的报告表示所述处理是未完成还是完成，

在所述第2步骤中，在所述报告表示处理未完成的情况下，不进行后续的操作，在所述报告表示处理完成的情况下，进行所述后续的操作。

4.根据权利要求1所述的控制方法，其特征在于，

所述通信的反复是反复进行表示图像处理装置的操作画面的内容的图像数据的发送，

所述终端装置根据从图像处理装置发送的图像数据所示的操作画面的内容是否与刚刚之前发送的图像数据所示的操作画面的内容相同，来判定进行了控制指示的处理是否完成。

5.根据权利要求1所述的控制方法，其中，

所述远程操作模式的超时是在所述终端装置与所述图像处理装置之间建立的连接的切断，

所述维持控制通过如下方式进行：在所述一定时间内从所述终端装置和所述图像处理装置中的一者向另一者发送用于维持所述连接的信息。

6.根据权利要求2所述的控制方法，其特征在于，

由所述报告表示的处理的进展状况是所述图像处理装置的面板设定完成还是未完成。

7.根据权利要求6所述的控制方法，其特征在于，

在由所述进展状况的报告表示的处理的进展状况表示所述图像处理装置的面板设定的完成的情况下，所述报告表示是正在执行用于在图像处理装置中反映所述面板设定的重启，还是完成了重启。

8.根据权利要求7所述的控制方法，其特征在于，

在所述进展状况的报告表示正在执行重启的情况下，所述报告表示重启的剩余时间。

9.根据权利要求2所述的控制方法，其中，

由所述进展状况的报告表示的处理的进展状况是委派给所述图像处理装置的任务完成还是未完成。

10.根据权利要求9所述的控制方法，其特征在于，

由所述进展状况的报告表示的处理的进展状况除了表示进行了控制指示的任务是完成还是未完成之外，还表示该任务的类别是否伴有打印输出，

在进行了所述控制指示的任务虽未完成但执行中的任务的类别伴有打印输出的情况下，在第2步骤中，通过RPA执行后续的操作。

11.根据权利要求1所述的控制方法，其特征在于，

在所述第1步骤中，进一步通知所述远程操作模式是通过基于所述RPA的自动操作进行的远程操作模式，

所述控制方法执行第3步骤，在该第3步骤中，在所述图像处理装置受理了所述通知时，使所述图像处理装置的操作面板显示进行基于所述RPA的远程操作模式的意思。

12.根据权利要求11所述的控制方法，其特征在于，

在所述第3步骤中，还在与基于所述RPA的所述控制指示对应的处理完成时，使所述操作面板显示该意思。

13.一种图像处理装置的控制方法，该图像处理装置具有从终端装置受理控制指示的远程操作模式，其特征在于，该控制方法包括：

第1步骤，受理来自所述终端装置的请求，转移到远程操作模式；以及

第2步骤，在没有与所述终端装置的通信的期间成为一定时间时，解除远程操作模式，

在所述第2步骤中，在执行基于来自所述终端装置的指示的任务的期间，即使成为所述一定时间，也不解除而是维持所述远程操作模式。

14.一种终端装置，对具有远程操作模式的图像处理装置发出控制指示，其特征在于，该终端装置包括：

转移部件，使所述图像处理装置转移到远程操作模式；以及

指示部件，受理基于RPA的操作，对所述图像处理装置进行控制指示，

所述指示部件在没有与所述图像处理装置的通信的期间成为一定时间时，在解除远程操作模式的情况下，在对所述图像处理装置进行了控制指示之后，以比所述一定时间短的周期反复进行与所述图像处理装置的通信。

15.一种图像处理装置，具有从终端装置受理控制指示的远程操作模式，其特征在于，该图像处理装置具备：

转移部件，受理来自所述终端装置的请求，转移到远程操作模式；以及

解除部件，在没有与所述终端装置的通信的期间成为一定时间时，解除远程操作模式，

所述解除部件在执行基于来自所述终端装置的指示的任务的期间，即使成为所述一定时间，也不解除而是维持所述远程操作模式。

16.一种储存有程序的计算机可读取的记录介质，该程序使计算机执行对具有远程操作模式的图像处理装置发出控制指示的处理，其特征在于，所述程序使计算机执行如下步骤：

第1步骤，使所述图像处理装置转移到远程操作模式；以及

第2步骤，受理基于RPA的操作，对所述图像处理装置进行控制指示，

在没有与所述计算机的通信的期间成为一定时间、所述图像处理装置解除远程操作模式的情况下，在所述第2步骤中，在对所述图像处理装置进行了控制指示之后，以比所述一定时间短的周期，使计算机反复进行与所述图像处理装置的通信。

17.一种储存有程序的计算机可读取的记录介质，该程序向具有从终端装置受理控制指示的远程操作模式的计算机委派处理，其特征在于，所述程序使计算机执行如下步骤：

在所述第2步骤中，在执行基于来自所述终端装置的指示的任务的期间，即使成为所述一定时间，也不解除而是使计算机维持所述远程操作模式。