CN112202981B - 声音操作系统、控制装置、记录介质以及处理装置 - Google Patents

Abstract

声音操作系统具备处理装置和能够与处理装置进行通信的控制装置。处理装置具有：操作面板，显示用于指示在处理装置中执行的处理的操作画面，并受理用户的指示；以及执行部，执行与从控制装置接收到的指令对应的处理。控制装置具有：指令生成部，基于输入的声音生成针对处理装置的指令；以及发送部，向处理装置发送指令。在声音是对处理装置指示第一处理的执行的声音的情况下，指令生成部生成指示在操作面板显示用于指示第一处理的执行的操作画面的第一指令，在声音是对处理装置指示第二处理的执行的声音的情况下，指令生成部生成指示第二处理的执行的第二指令。

Description

声音操作系统、控制装置、记录介质以及处理装置

技术领域

本公开涉及声音操作系统、控制装置、计算机能够读取的记录介质以及处理装置。

背景技术

近年来，已知有与声音操作对应的处理装置。具体而言，能够与处理装置进行通信的控制装置基于从声音输入装置输入的声音生成反映了用户的指示的指令，处理装置接收该指令并执行。由此，在处理装置中，能够变更设定，或者执行任务。

日本特开2010－224890号公报公开了无论从显示了哪个操作画面的状态起，都能够不对用户造成麻烦并且在短时间内通过声音转移至目的操作画面的技术。

在处理装置中执行的处理多种多样。因此，为了能够通过声音执行全部的处理，必须开发庞大的数目的执行指令，既耗费开发工时又耗费成本。另一方面，在将能够通过声音指示的处理限定为执行频率较高的处理的情况下，能够抑制开发工时、成本，但执行频率较低的处理不与声音操作对应，而损害用户的操作性。因此，需要尽力不损害操作性且抑制了开发工时的声音操作。

发明内容

根据某一实施方式的声音操作系统具备处理装置和能够与处理装置进行通信的控制装置。处理装置具有：操作面板，显示用于指示在处理装置中执行的处理的操作画面，并且受理用户的指示；以及执行部，执行与从控制装置接收到的指令对应的处理。控制装置具有：指令生成部，基于输入的声音生成针对处理装置的指令；以及发送部，向处理装置发送指令。在声音是对处理装置指示第一处理的执行的声音的情况下，指令生成部生成第一指令，第一指令指示在操作面板显示用于指示第一处理的执行的操作画面，在声音是对处理装置指示第二处理的执行的声音的情况下，指令生成部生成第二指令，第二指令指示第二处理的执行。

也可以：控制装置还具有存储部，存储部存储第一数据和第二数据，在第一数据中，将指示关键字和与指示关键字对应的操作画面的识别编号建立对应关系，在第二数据中，将多个指示关键字中的特定的指示关键字和指示与特定的指示关键字对应的处理的执行的第二指令建立对应关系。也可以：在声音所包含的指示关键字不包含于第二数据但包含于第一数据的情况下，指令生成部参照第一数据生成第一指令，在声音所包含的指示关键字包含于第二数据的情况下，指令生成部参照第二数据生成第二指令。

也可以：在声音所包含的指示关键字不包含于第一数据和第二数据中的任意一个的情况下，控制装置使用户在操作面板上指示处理装置应该执行的处理。

也可以：在操作面板上指示了处理装置应该执行的处理的情况下，控制装置将声音所包含的指示关键字、用户进行了操作的操作画面的识别编号以及用户信息建立对应关系并进行存储。

也可以：在第一数据中，还将位于与指示关键字对应的操作画面的上位层次的上位画面的信息与指示关键字建立对应关系。也可以：在声音包含多个指示关键字的情况下，指令生成部生成指示在操作面板显示多个指示关键字所共同的上位画面的第一指令。

也可以：在存在多个与声音所包含的指示关键字对应的操作画面的候补的情况下，控制装置使用户在操作面板上从操作画面的候补中选择一个操作画面。

也可以：在操作面板上选择了一个操作画面的情况下，控制装置将声音所包含的指示关键字、一个操作画面的识别编号以及用户信息建立对应关系并进行存储。

也可以：即使在声音所包含的指示关键字包含于第二数据的情况下，在与指示关键字对应的处理是特定的处理的情况下，指令生成部也参照第一数据生成第一指令。

也可以：在第二数据中，还将与指示关键字对应的操作画面的层次信息与指示关键字建立对应关系。也可以：特定的处理是用于指示特定的处理的执行的操作画面的层次的深度为规定层次以上的深度的处理。

也可以：在第二数据中，还将与指示关键字对应的处理的执行次数与指示关键字建立对应关系。也可以：特定的处理是执行次数为规定次数以下的处理。

也可以：在第二数据中，还将与指示关键字对应的处理的中止次数与指示关键字建立对应关系。也可以：特定的处理是中止次数为规定次数以上的处理。

也可以：存储部按照处理装置的机种存储第一数据以及第二数据。也可以：在声音所包含的指示关键字不包含于与处理装置的机种对应的第二数据但包含于与处理装置的机种对应的第一数据的情况下，指令生成部参照与处理装置的机种对应的第一数据生成第一指令，在声音所包含的指示关键字包含于与处理装置的机种对应的第二数据的情况下，指令生成部参照与处理装置的机种对应的第二数据生成第二指令。

也可以：存储部按照安装于处理装置的应用程序的版本存储第一数据以及第二数据。也可以：在声音所包含的指示关键字不包含于与应用程序的版本对应的第二数据但包含于与应用程序的版本对应的第一数据的情况下，指令生成部参照与应用程序的版本对应的第一数据生成第一指令，在声音所包含的指示关键字包含于与应用程序的版本对应的第二数据的情况下，指令生成部参照与应用程序的版本对应的第二数据生成第二指令。

根据其它的实施方式，提供控制装置。控制装置具有：指令生成部，基于输入的声音生成针对处理装置的指令；以及发送部，向处理装置发送指令。在声音是对处理装置指示第一处理的执行的声音的情况下，指令生成部生成第一指令，第一指令指示在处理装置的操作面板显示用于指示第一处理的执行的操作画面，在声音是对处理装置指示第二处理的执行的声音的情况下，指令生成部生成第二指令，第二指令指示第二处理的执行。

根据其它的实施方式，提供储存有控制程序的计算机能够读取的记录介质。在能够与处理装置进行通信的计算机中执行控制程序。控制程序使计算机执行以下处理：基于输入的声音生成针对处理装置的指令；以及向处理装置发送指令。在生成指令的处理中包括：在声音是对处理装置指示第一处理的执行的声音的情况下，生成第一指令，第一指令指示在处理装置的操作面板显示用于指示第一处理的执行的操作画面；以及在声音是对处理装置指示第二处理的执行的声音的情况下，生成第二指令，第二指令指示第二处理的执行。

根据其它的实施方式，提供处理装置。处理装置具备：声音受理部，受理声音的输入；操作面板，显示操作画面；指令生成部，基于输入的声音生成指令；以及执行部，执行与指令对应的处理。在声音是对处理装置指示第一处理的执行的声音的情况下，指令生成部生成第一指令，第一指令指示在操作面板显示用于指示第一处理的执行的操作画面，在声音是对处理装置指示第二处理的执行的声音的情况下，指令生成部生成第二指令，第二指令指示第二处理的执行。

附图说明

根据与附图相关地理解的该发明所涉及的以下的详细的说明，该发明的上述以及其它的目的、特征、方面以及优点变得明确。

图1是表示依据实施方式1的声音操作系统的图。

图2是表示智能扬声器的硬件构成的框图。

图3是表示服务器的硬件构成的框图。

图4是表示图像形成装置的硬件构成的框图。

图5是表示声音操作系统的功能构成的图。

图6是表示表格A的数据结构的图。

图7是表示表格B的数据结构的图。

图8是表示服务器的整体处理的流程图。

图9是表示指令生成处理的流程图。

图10是表示指示声音输出的处理的流程图。

图11是表示登记处理的流程图。

图12是表示声音受理处理的流程图。

图13是表示声音输出处理的流程图。

图14是表示执行处理的流程图。

图15是表示画面ID发送处理的流程图。

图16是用于说明指示关键字包含于表格B的情况下的声音操作系统的一系列的处理的顺序图。

图17是用于说明指示关键字不包含于表格B但包含于表格A的情况下的声音操作系统的一系列的处理的顺序图。

图18是用于说明与指示关键字对应的转移目的地的画面候补不为一个的情况下的声音操作系统的一系列的处理的顺序图。

图19是用于说明指示关键字不包含于表格A和表格B中的任意一个的情况下的声音操作系统的一系列的处理的顺序图。

图20是表示实施方式2中的表格B1的数据结构的图。

图21是表示实施方式2中的指令生成处理的流程图。

图22是表示实施方式2中的表格B2的数据结构的图。

图23是表示实施方式2中的指令生成处理的流程图。

图24是表示实施方式2中的表格B3的数据结构的图。

图25是表示实施方式2中的指令生成处理的流程图。

图26是表示实施方式3中的表格C的数据结构的图。

图27是表示实施方式3中的指令生成处理的流程图。

图28是表示实施方式3中的表格D的数据结构的图。

图29是表示实施方式3中的指令生成处理的流程图。

图30是表示实施方式4中的图像形成装置的硬件构成的框图。

图31是表示实施方式4中的图像形成装置的功能构成的图。

具体实施方式

以下，参照附图对各实施方式进行详细说明。此外，对图中的相同或者相应的部分附加相同的附图标记且不重复其说明。

[实施方式1]

图1是表示依据实施方式1的声音操作系统1的图。声音操作系统1具备智能扬声器400、服务器500以及图像形成装置100。智能扬声器400是对话型电子装置的一个例子。服务器500是控制装置的一个例子，包含云服务器。图像形成装置100是处理装置的一个例子。图像形成装置100是具备认证功能的复合机(MFP：Multi Function Peripheral)。用户为了使用图像形成装置100，需要在操作面板40上输入ID进行认证。服务器500经由网络99与智能扬声器400以及图像形成装置100连接，相互进行通信。

智能扬声器400是与对话型的声音操作对应的扬声器。智能扬声器400通过声音受理对图像形成装置100的指示，并将受理的声音的数据发送给服务器500。智能扬声器400将服务器500生成的声音数据声音化并输出。

服务器500接收从智能扬声器400送来的声音数据，并文本化。服务器500从文本数据中提取指示关键字。指示关键字是为了对图像形成装置100指示处理的执行而使用的关键字。服务器500参照预先保存于图像形成装置100的指示关键字的表格生成指令，并将该指令发送给图像形成装置100。

在想要使智能扬声器400进行声音输出的情况下，服务器500对智能扬声器400发送想要使智能扬声器400输出的声音的数据。在用户在显示于操作面板40的操作画面上进行了设定操作的情况下，服务器500从图像形成装置100接收该操作画面的画面ID，并将指示关键字、该画面ID以及在图像形成装置100登录中的用户ID建立对应关系并登记。

图像形成装置100是安装了扫描仪功能、复印功能、传真功能、网络功能、BOX功能等多个功能的复合机(MFP：Multi Function Peripheral)。图像形成装置100基于从服务器500接收的指令，执行处理。另外，在操作面板40上进行了设定操作的情况下，图像形成装置100将用户操作的操作画面的画面ID与在图像形成装置100登录中的用户ID建立对应关系并发送给服务器500。此外，图像形成装置100并不限定于复合机，也可以以复印机、打印机或者传真机等那样的方式安装。另外，图像形成装置100中的认证形式也可以代替ID输入，而是基于IC卡的认证或者是生物体认证。

图2是表示智能扬声器400的硬件构成的框图。智能扬声器400具备控制部410、麦克风420、扬声器430以及通信接口440。控制部410、麦克风420、扬声器430以及通信接口440经由总线450连接。

控制部410具备CPU(Central Processing Unit：中央处理器)411、RAM(RandomAccess Memory：随机存取存储器)412、以及ROM(Read Only Memory：只读存储器)413。CPU411通过执行保存于ROM413等的动作程序，总体控制智能扬声器400整体。ROM413存储CPU411执行的程序、其它的数据。RAM412成为CPU411执行程序时的工作区，暂时存储程序、执行程序时的数据等。

麦克风420通过声音受理对图像形成装置100的指示。

扬声器430将服务器500生成的声音数据声音化并输出。

通信接口440经由网络99与服务器500发送接收声音数据。

图3是表示服务器500的硬件构成的框图。服务器500具备控制部510、通信接口520以及硬盘530。控制部510、通信接口520以及硬盘530经由总线540连接。

控制部510具备CPU511、RAM512、以及ROM513。CPU511通过执行保存于ROM513等的动作程序，总体控制服务器500整体。ROM513存储CPU511执行的程序、其它的数据。RAM512成为CPU511执行程序时的工作区，暂时存储程序、执行程序时的数据等。

通信接口520经由网络99与智能扬声器400发送接收声音数据。通信接口520经由网络99，对图像形成装置100发送指令。通信接口520经由网络99从图像形成装置100接收用户操作的操作画面的画面ID。

硬盘530存储各种表格。各种表格例如是表格A、表格B。参照图6以及图7后述表格A以及表格B的详细。

图4是表示图像形成装置100的硬件构成的框图。图像形成装置100具备扫描仪10、打印机20、供纸部30、操作面板40、传真机50、通信接口60、控制部70以及硬盘80。扫描仪10、打印机20、供纸部30、操作面板40、传真机50、通信接口60、控制部70以及硬盘80经由总线90连接。

扫描仪10以光学的方式读取原稿并转换为图像。

打印机20在纸张打印图像。打印机20具备用于形成黄色、品红色、青色以及黑色的调色剂像的感光鼓和曝光装置。打印机20将各颜色的调色剂像重叠地转印到转印带，并将重叠的调色剂像转印到从供纸部30输送来的纸张。转印了调色剂像的纸张排出到原稿排纸托盘。

供纸部30收纳向打印机20供给的纸张。

操作面板40受理用户的输入操作。操作面板40具备显示各种操作画面的触摸面板显示器。

传真机50与电话线路连接，在与其它的装置之间发送接收图像数据。

通信接口60经由网络99与服务器500进行通信。通信接口60从服务器500接收指令。通信接口60将用户操作的操作画面的画面ID发送给服务器500。

控制部70具备CPU71、RAM72以及ROM73。CPU71通过执行保存于ROM73等的动作程序，总体控制图像形成装置100整体。ROM73存储CPU71执行的程序、其它的数据。RAM72成为CPU71执行程序时的工作区，暂时存储程序、执行程序时的数据等。

硬盘80存储程序、各种数据。各种数据例如是图像数据。

图5是表示声音操作系统1的功能构成的图。声音操作系统1由智能扬声器400、服务器500以及图像形成装置100构成。

对智能扬声器400中的功能构成进行说明。声音受理部4101经由麦克风420通过声音受理对图像形成装置100的指示。声音受理部4101将受理的声音转换为声音数据，并经由通信接口440将该声音数据发送给服务器500。另外，声音输出部4102经由通信接口440接收从服务器500送来的声音数据，将该声音数据声音化并经由扬声器430输出。通过由CPU411执行储存于ROM413的规定的程序来实现在声音受理部4101以及声音输出部4102中进行的处理。

对服务器500中的功能构成进行说明。声音识别部5101经由通信接口520接收从智能扬声器400送来的声音数据，并生成与该声音数据对应的文本数据。另外，声音识别部5101将由文本数据生成部5104生成的文本数据转换为声音数据，并经由通信接口520将该声音数据发送给智能扬声器400。

提取部5102从生成的文本数据中提取指示关键字。

指令生成部5103参照硬盘530内的表格A或者表格B生成指令，并将该指令发送给图像形成装置100。参照图9后述在指令生成部5103中进行的处理的详细。

文本数据生成部5104在指令生成部5103中生成了画面转移指令的情况下，或者，在指令生成部5103中没有生成任何的指令的情况下，生成使智能扬声器400输出的声音的文本数据。参照图10后述在文本数据生成部5104以及声音识别部5101中进行的向智能扬声器400指示声音输出的处理的详细。

登记部5105在用户在显示于操作面板40的操作画面上进行了设定操作的情况下，将指示关键字、该操作画面的画面ID、以及在图像形成装置100登录中的用户ID建立对应关系，并保存于硬盘530内的表格Z。表格Z是按照每个用户设置，记录了每个用户的趋势(例如，过去的设定操作)的表格。登记部5105选择在图像形成装置100登录中的用户的表格Z，并将指示关键字与操作画面的画面ID建立对应关系并保存于该表格Z。在下次同一用户发出了同一指示关键字的情况下，在确定显示于操作面板40的操作画面的情况下参照保存于表格Z的信息。参照图11后述在登记部5105中进行的处理的详细。

通过由CPU511执行储存于ROM513的规定的程序来实现在声音识别部5101、提取部5102、指令生成部5103、文本数据生成部5104以及登记部5105中进行的处理。

对图像形成装置100中的功能构成进行说明。确定部7001经由通信接口60接收从服务器500送来的指令，并确定其处理内容。执行部7002基于由确定部7001确定出的处理内容来执行处理。参照图14后述在确定部7001以及执行部7002中进行的处理的详细。

画面ID发送部7003在用户在显示于操作面板40的操作画面上进行了设定操作的情况下，将该操作画面的画面ID与登录中的用户ID建立对应关系，并经由通信接口60发送给服务器500。参照图15后述在画面ID发送部7003中进行的处理的详细。

通过由CPU71执行储存于ROM73的规定的程序来实现在确定部7001、执行部7002以及画面ID发送部7003中进行的处理。

图6是表示表格A的数据结构的图。表格A预先储存于硬盘530，并在由指令生成部5103进行的处理中进行参照。

在表格A中，指示关键字与画面ID建立对应关系。画面ID是显示于操作面板40的操作画面的识别信息。与指示关键字建立对应关系的画面ID是在用户指示与指示关键字对应的处理的执行时显示于操作面板40的操作画面的识别信息。并且，在表格A中，指示关键字与上位画面的画面ID建立对应关系。与指示关键字建立对应关系的上位画面的画面ID是位于在用户指示与指示关键字对应的处理的执行时显示于操作面板40的操作画面的上位层次的操作画面的识别信息。在“上位画面的画面ID”的栏从层次较浅的一方开始依次记载有上位画面的画面ID。

例如，与“复印装订”这样的指示关键字对应的操作画面的画面ID为“12128”。位于与“复印装订”这样的指示关键字对应的操作画面的一个层次上位的操作画面的画面ID为“12100”。位于与“复印装订”这样的指示关键字对应的操作画面的两个层次上位的操作画面的画面ID是“12000”。位于与“复印装订”这样的指示关键字对应的操作画面的三个层次上位的操作画面的画面ID为“10000”。

图7是表示表格B的数据结构的图。表格B预先储存于硬盘530，并在由指令生成部5103进行的处理中进行参照。

在表格B中，指示关键字与执行指令建立对应关系。保存于表格B的指示关键字是保存于表格A的指示关键字中的与使用频率较高的处理对应的指示关键字。执行指令是用于对图像形成装置100指示与指示关键字对应的处理的执行的指令。例如，与“复印2in1”这样的指示关键字对应的执行指令为“AAA”。

[服务器500的处理]

参照图8～图11，对在服务器500中进行的处理进行说明。图8是表示服务器500的整体处理的流程图。通过由CPU511执行储存于ROM513的规定的程序来实现图8所示的处理。

首先，控制部510判定是否从智能扬声器400接收到声音数据(步骤S810)。控制部510反复进行步骤S810直至从智能扬声器400接收到声音数据为止，在从智能扬声器400接收到声音数据的情况下(在步骤S810中为是)，移至步骤S820。

在步骤S820中，控制部510生成与接收到的声音数据对应的文本数据。

接下来，控制部510从文本数据中提取指示关键字(步骤S830)。

接下来，控制部510进行指令生成处理(步骤S840)。指令生成处理是基于在步骤S830中提取出的指示关键字，参照硬盘530内的表格A或者表格B生成指令，并将该指令发送给图像形成装置100的处理。参照图9后述指令生成处理的详细。

接下来，控制部510进行指示声音输出的处理(步骤S850)。指示声音输出的处理是在步骤S840中生成了画面转移指令的情况下，或者在步骤S840中没有生成任何的指令的情况下，向智能扬声器400指示声音输出的处理。参照图10后述指示声音输出的处理的详细。

接下来，控制部510进行登记处理(步骤S860)。登记处理是在用户在显示于操作面板40的操作画面上进行了设定操作的情况下，将指示关键字、该操作画面的画面ID以及在图像形成装置100登录中的用户ID建立对应关系，并保存于硬盘530内的表格Z的处理。参照图11后述登记处理的详细。

控制部510在步骤S860之后，结束图8所示的一系列的处理。

图9是表示指令生成处理的流程图。通过由CPU511执行储存于ROM513的规定的程序来实现图9所示的处理。

首先，控制部510判定在步骤S830中提取出的指示关键字是否包含于表格B(步骤S910)。在步骤S830中提取出的指示关键字包含于表格B的情况下(在步骤S910中为是)，控制部510移至步骤S920。另一方面，在步骤S830中提取出的指示关键字不包含于表格B的情况下(在步骤S910中为否)，控制部510移至步骤S930。

在步骤S920中，控制部510参照表格B生成与指示关键字对应的执行指令。例如，在指示关键字为“复印2in1”的情况下，控制部510生成“AAA”这样的执行指令。

在步骤S930中，控制部510判定在步骤S830中提取出的指示关键字是否包含于表格A。在步骤S830中提取出的指示关键字包含于表格A的情况下(在步骤S930中为是)，控制部510移至步骤S940。另一方面，在步骤S830中提取出的指示关键字不包含于表格A的情况下(在步骤S930中为否)，控制部510结束图9所示的一系列的处理。

在步骤S940中，控制部510判定在步骤S830中提取出的指示关键字是否共同地包含于表格A所包含的多个指示关键字。例如，在步骤S830中提取出的指示关键字为“彩色”的情况下，由于“彩色”包含于“彩色复印”以及“彩色扫描”，所以控制部510判定为在步骤S830中提取出的指示关键字共同地包含于表格A所包含的多个指示关键字。在步骤S830中提取出的指示关键字共同地包含于表格A所包含的多个指示关键字的情况下(在步骤S940中为是)，控制部510移至步骤S945。另一方面，在步骤S830中提取出的指示关键字不共同地包含于表格A所包含的多个指示关键字的情况下(在步骤S940中为否)，控制部510移至步骤S950。

在步骤S945中，控制部510生成指定了与表格A所包含的指示关键字中的、共同地包含在步骤S830中提取出的指示关键字的多个指示关键字的各个建立对应关系的画面ID的画面转移指令。例如，在指示关键字为“彩色”的情况下，控制部510生成指定了“12125”这样的画面ID的画面转移指令、以及指定了“15125”这样的画面ID的画面转移指令。此外，在步骤S945中，控制部510也可以在参照表格Z，而在步骤S830中提取出的指示关键字与用户到此为止进行了操作的操作画面的画面ID建立对应关系的情况下，仅生成指定了该画面ID的画面转移指令。

在步骤S950中，控制部510判定包含于表格A的在步骤S830中提取出的指示关键字是否为一个。在包含于表格A的在步骤S830中提取出的指示关键字为一个的情况下(在步骤S950中为是)，控制部510移至步骤S955。另一方面，在包含于表格A的在步骤S830中提取出的指示关键字不为一个的情况下(在步骤S950中为否)，控制部510移至步骤S960。

在步骤S955中，控制部510生成指定了在表格A中与在步骤S830中提取出的指示关键字建立对应关系的画面ID的画面转移指令。例如，在指示关键字为“复印装订”的情况下，控制部510生成指定了“12128”这样的画面ID的画面转移指令。

在步骤S960中，控制部510生成指定了在表格A中与在步骤S830中提取出的指示关键字的各个建立对应关系的上位画面的画面ID中的共同的画面ID的画面转移指令。在有多个共同的画面ID的情况下，控制部510生成指定了多个共同的画面ID中的最下层的画面ID的画面转移指令。例如，在指示关键字为“彩色复印”以及“复印装订”的情况下，控制部510生成指定了“12100”这样的画面ID的画面转移指令。

控制部510在步骤S920、步骤S945、步骤S955或者步骤S960之后，移至步骤S970。在步骤S970中，控制部510经由通信接口520将执行指令或者画面转移指令发送给图像形成装置100。控制部510在步骤S970之后，结束图9所示的一系列的处理。

此外，执行指令如“AAA”的指令那样包含按照“2in1”来“复印”原稿这样的多个指令，与此相对，画面转移指令仅包含在操作面板40显示指定的画面这样的一个指令。

另外，执行指令并不限定于对图像形成装置100指示打印处理的执行那样的指令。执行指令也可以是使图像形成装置100停留在设定打印条件，而不使其进行到打印处理的执行的指令。例如，若为“AAA”的指令，则也可以是指示图像形成装置100按照2in1复印原稿的指令，也可以是指示图像形成装置100设定按照2in1复印原稿这样的打印条件的指令。

另外，在步骤S830中提取了多个指示关键字的情况下，也可能有包含于表格B的指示关键字和仅包含于表格A的指示关键字混在一起的情况。在这样的情况下，控制部510也可以对包含于表格B的指示关键字生成执行指令，对仅包含于表格A的指示关键字生成画面转移指令，并将这些指令发送给图像形成装置100。

图10是表示指示声音输出的处理的流程图。通过由CPU511执行储存于ROM513的规定的程序来实现图10所示的处理。

首先，控制部510判定在步骤S840中是否生成了执行指令(步骤S1010)。在步骤S840中生成了执行指令的情况下(在步骤S1010中为是)，控制部510结束图10所示的一系列的处理。另一方面，在步骤S840中没有生成执行指令的情况下(在步骤S1010中为否)，控制部510移至步骤S1020。

在步骤S1020中，控制部510判定在步骤S840中是否生成了画面转移指令。在步骤S840中生成了画面转移指令的情况下(在步骤S1020中为是)，控制部510移至步骤S1030。另一方面，在步骤S840中没有生成画面转移指令的情况下(在步骤S1020中为否)，控制部510移至步骤S1060。

在步骤S1030中，控制部510判定在步骤S840中是否生成了多个画面转移指令。在步骤S840中生成了多个画面转移指令的情况下(在步骤S1030中为是)，控制部510移至步骤S1050。另一方面，在步骤S840中没有生成多个画面转移指令的情况下(在步骤S1030中为否)，控制部510移至步骤S1040。

在步骤S1040中，控制部510生成“在操作面板40显示了相关的画面，请进行设定”这样的内容的文本数据。

在步骤S1050中，控制部510生成“在操作面板40显示了候补画面，请选择画面并进行设定”这样的内容的文本数据。

在步骤S1060中，控制部510生成“请在操作面板40上进行设定”这样的内容的文本数据。

在步骤S1040、步骤S1050或者步骤S1060之后，控制部510生成与文本数据对应的声音数据(步骤S1070)。

接下来，控制部510经由通信接口520将声音数据发送给智能扬声器400(步骤S1080)。在智能扬声器400中，将从服务器500送来的声音数据声音化并输出。

控制部510在步骤S1080之后，结束图10所示的一系列的处理。

图11是表示登记处理的流程图。通过由CPU511执行储存于ROM513的规定的程序来实现图11所示的处理。

首先，控制部510判定是否从图像形成装置100接收到在图像形成装置100登录中的用户ID以及用户进行了操作的操作画面的画面ID(步骤S1110)。控制部510反复进行步骤S1110，直至从图像形成装置100接收到在图像形成装置100登录中的用户ID以及用户进行了操作的操作画面的画面ID，在从图像形成装置100接收到在图像形成装置100登录中的用户ID以及用户进行了操作的操作画面的画面ID的情况下(在步骤S1110中为是)，移至步骤S1120。

在步骤S1120中，控制部510将在步骤S830中提取出的指示关键字、从图像形成装置100送来的画面ID、以及从图像形成装置100送来的在图像形成装置100登录中的用户ID建立对应关系，并保存于硬盘530内的表格Z。控制部510选择在图像形成装置100登录中的用户的表格Z，将指示关键字与操作画面的画面ID建立对应关系并保存于该表格Z。在下次由同一用户发出了相同的指示关键字的情况下，在确定使操作面板40显示的操作画面的情况下参照储存于硬盘530的信息。

控制部510在步骤S1120之后，结束图11所示的一系列的处理。

[智能扬声器400的处理]

参照图12以及图13，对在智能扬声器400中进行的处理进行说明。图12是表示声音受理处理的流程图。声音受理处理是将受理的声音转换为声音数据，并将该声音数据发送给服务器500的处理。通过由CPU411执行储存于ROM413的规定的程序来实现声音受理处理。

首先，控制部410判定是否受理了声音(步骤S1210)。控制部410反复进行步骤S1210，直至受理声音，在受理了声音的情况下(在步骤S1210中为是)，控制部410移至步骤S1220。

在步骤S1220中，控制部410将受理的声音转换为声音数据。

接下来，控制部410经由通信接口440将声音数据发送给服务器500(步骤S1230)。控制部410在步骤S1230之后，结束图12所示的一系列的处理。

图13是表示声音输出处理的流程图。声音输出处理是将从服务器500接收到的声音数据声音化并输出的处理。通过由CPU411执行储存于ROM413的规定的程序来实现声音输出处理。

首先，控制部410判定是否从服务器500接收到声音数据(步骤S1310)。控制部410反复进行步骤S1310，直至从服务器500接收声音数据，在从服务器500接收到声音数据的情况下(在步骤S1310中为是)，控制部410移至步骤S1320。

在步骤S1320中，控制部410将声音数据声音化。

接下来，控制部410从扬声器430输出声音(步骤S1330)。控制部410在步骤S1330之后，结束图13所示的一系列的处理。

[图像形成装置100的处理]

参照图14以及图15，对在图像形成装置100中进行的处理进行说明。图14是表示执行处理的流程图。执行处理是执行从服务器500送来的指令的处理。通过由CPU71执行储存于ROM73的规定的程序来实现执行处理。

首先，控制部70判定是否从服务器500接收到指令(步骤S1410)。控制部70反复进行步骤S1410直至从服务器500接收指令，在从服务器500接收到指令的情况下(在步骤S1410中为是)，控制部70移至步骤S1420。指令是在步骤S840中生成的指令，是执行指令或者画面转移指令。

在步骤S1420中，控制部70经由应用编程接口(API)确定指令示出的处理内容。

接下来，控制部70根据确定出的处理内容执行处理(步骤S1430)。例如，在从服务器500送来的指令为“AAA”这样的执行指令的情况下，控制部70按照2in1复印设置于图像形成装置100的原稿。作为其它的例子，在从服务器500接收到的指令为指定了“12128”这样的画面ID的画面转移指令的情况下，控制部70在操作面板40显示复印的操作画面中的装订的操作画面。

控制部70在步骤S1430之后，结束图14所示的一系列的处理。

图15是表示画面ID发送处理的流程图。画面ID发送处理是在用户在操作面板40上的设定操作完成的情况下，将用户进行了操作的操作画面的画面ID发送给服务器500的处理。通过由CPU71执行储存于ROM73的规定的程序来实现画面ID发送处理。

首先，控制部70判定用户在操作面板40上的设定操作是否完成(步骤S1510)。控制部70反复进行步骤S1510，直至用户在操作面板40上的设定操作完成，在用户在操作面板40上的设定操作完成的情况下(在步骤S1510中为是)，控制部70移至步骤S1520。在用户按下了操作面板40上的“设定”或者“OK”的情况下，或者，在用户在操作面板40上的操作之后操作画面移至其它的画面的情况下，控制部70判定为用户在操作面板40上的设定操作完成。

在步骤S1520中，控制部70将用户进行了操作的操作画面的画面ID与在图像形成装置100登录中的用户ID建立对应关系，并经由通信接口60发送给服务器500。控制部70在步骤S1520之后，结束图15所示的一系列的处理。

通过图15所示的一系列的处理，服务器500在不能够根据用户发出的指示关键字确定出一个转移目的地的画面，而由用户从显示于操作面板40的转移目的地的画面候补中选择一个画面的情况下，将用户选择出的操作画面的画面ID与用户ID建立对应关系并发送到服务器500。作为其它的例子，在用户发出的指示关键字不包含于表格A和表格B中的任意一个，而用户在操作面板40上进行了设定操作的情况下，将用户进行了操作的操作画面的画面ID与用户ID建立对应关系并发送到服务器500。

[声音操作系统1的一系列的处理]

参照图16～图19，对声音操作系统1的一系列的处理进行说明。图16是用于说明指示关键字包含于表格B的情况下的声音操作系统1的一系列的处理的顺序图。

若用户发出“请按照2in1进行复印”(T1605)，则智能扬声器400将声音转换为声音数据(T1610)，并将该声音数据发送给服务器500(T1615)。

服务器500将从智能扬声器400送来的声音数据文本化(T1620)，提取“复印2in1”这样的指示关键字(T1625)。服务器500参照表格B，生成“AAA”这样的执行指令(T1630)。服务器500将“AAA”这样的执行指令发送给图像形成装置100(T1635)。

图像形成装置100接收从服务器500送来的指令，确定指令示出的处理内容(T1640)，并根据确定出的处理内容执行处理(T1645)。即，图像形成装置100按照2in1复印设置于图像形成装置100的原稿。

通过声音操作系统1的上述一系列的处理，对于“请按照2in1进行复印”这样的用户的指示，按照2in1复印设置于图像形成装置100的原稿。

图17是用于说明指示关键字不包含于表格B但包含于表格A的情况下的声音操作系统1的一系列的处理的顺序图。

若用户发出“请复印并进行装订”(T1705)，则智能扬声器400将声音转换为声音数据(T1710)，并将该声音数据发送给服务器500(T1715)。

服务器500将从智能扬声器400送来的声音数据文本化(T1720)，并提取“复印装订”这样的指示关键字(T1725)。服务器500参照表格A，生成指定了“12128”这样的画面ID的画面转移指令(T1730)。服务器500将指定了“12128”这样的画面ID的画面转移指令发送给图像形成装置100(T1735)。

图像形成装置100接收从服务器500送来的指令，确定指令示出的处理内容(T1740)，并根据确定出的处理内容执行处理(T1745)。即，图像形成装置100在操作面板40显示复印的操作画面中的装订的操作画面。

服务器500对图像形成装置100发送画面转移指令，另一方面对智能扬声器400发送声音数据。具体而言，服务器500生成“在操作面板40显示了相关的画面，请进行设定”这样的内容的文本数据(T1750)。服务器500生成与该文本数据对应的声音数据(T1755)，并发送给智能扬声器400(T1760)。

智能扬声器400将从服务器500送来的声音数据声音化(T1765)，并输出(T1770)。

通过声音操作系统1的上述一系列的处理，对“请复印并装订”这样的用户的指示，在操作面板40显示复印的操作画面中的装订的操作画面。

图18是用于说明与指示关键字对应的转移目的地的画面候补不为一个的情况下的声音操作系统1的一系列的处理的顺序图。

若用户发出“请设定为彩色”(T1805)，则智能扬声器400将声音转换为声音数据(T1810)，并将该声音数据发送给服务器500(T1815)。

服务器500将从智能扬声器400送来的声音数据文本化(T1820)，并提取“彩色”这样的指示关键字(T1825)。服务器500参照表格A，生成指定了“12125”这样的画面ID的画面转移指令、以及指定了“15125”这样的画面ID的画面转移指令(T1830)。这是因为不明确用户想要的设定是“彩色复印”和“彩色扫描”中的哪一个。服务器500将指定了“12125”这样的画面ID的画面转移指令和指定了“15125”这样的画面ID的画面转移指令发送给图像形成装置100(T1835)。

图像形成装置100接收从服务器500送来的指令，确定指令示出的处理内容(T1840)，并根据确定出的处理内容执行处理(T1845)。即，图像形成装置100在操作面板40显示画面ID为“12125”的画面和画面ID为“15125”的画面。即，图像形成装置100在操作面板40显示彩色复印的操作画面和彩色扫描的操作画面。

服务器500对图像形成装置100发送画面转移指令，另一方面对智能扬声器400发送声音数据。具体而言，服务器500生成“在操作面板40显示了候补画面，请选择画面并进行设定”这样的内容的文本数据(T1850)。服务器500生成与该文本数据对应的声音数据(T1855)，并发送给智能扬声器400(T1860)。

智能扬声器400将从服务器500送来的声音数据声音化(T1865)，并输出(T1870)。

在用户从显示于操作面板40的候补画面中选择了所希望的画面的情况下，图像形成装置100将选择出的画面的画面ID与在图像形成装置100登录中的用户ID建立对应关系，并发送给服务器500(T1875)。

服务器500将在T1825中提取出的指示关键字、从图像形成装置100送来的在图像形成装置100登录中的用户ID、以及从图像形成装置100送来的画面ID建立对应关系，并储存于硬盘530内的表格Z(T1880)。

通过声音操作系统1的上述一系列的处理，对于“请设定为彩色”这样的用户的指示，在操作面板40显示候补画面。由此，用户能够从候补画面中选择所希望的画面并进行设定。另外，在下次由同一用户发出了相同的指示关键字的情况下，声音操作系统1能够确定出使操作面板40显示的操作画面。

图19是用于说明指示关键字不包含于表格A和表格B中的任意一个的情况下的声音操作系统1的一系列的处理的顺序图。

若用户发出“请将两页集中复印到一页”(T1905)，则智能扬声器400将声音转换为声音数据(T1910)，并将该声音数据发送给服务器500(T1915)。

服务器500将从智能扬声器400送来的声音数据文本化(T1920)，并提取“集中复印”这样的指示关键字(T1925)。由于“集中复印”这样的指示关键字不包含于表格A和表格B中的任意一个，所以服务器500不生成指令，而生成“请在操作面板40上进行设定”这样的内容的文本数据(T1930)。服务器500生成与该文本数据对应的声音数据(T1935)，并发送给智能扬声器400(T1940)。

智能扬声器400将从服务器500送来的声音数据声音化(T1945)，并输出(T1950)。

在用户在操作面板40上进行了设定操作的情况下，图像形成装置100将用户进行了操作的操作画面的画面ID和在图像形成装置100登录中的用户ID建立对应关系，并发送给服务器500(T1955)。

服务器500将在T1925中提取出的指示关键字、从图像形成装置100送来的在图像形成装置100登录中的用户ID、以及从图像形成装置100送来的画面ID建立对应关系，并储存于硬盘530内的表格Z(T1960)。

通过声音操作系统1的上述一系列的处理，对于“请将两页集中复印到一页”这样的用户的指示，输出催促用户进行在操作面板40上的设定的声音。另外，将用户进行了操作的操作画面的画面ID、用户ID以及指示关键字建立对应关系并保存于表格Z，所以在下次由同一用户发出了相同的指示关键字的情况下，声音操作系统1能够确定出使操作面板40显示的操作画面。

这样，在实施方式1中，声音操作系统1仅对使用频率较高的处理具备使基于声音的执行成为可能的执行指令，对其以外的处理仅具备画面转移指令。由此，能够抑制开发的执行指令的数目，所以能够抑制开发工时。

另外，在用户通过声音指示的内容是对没有准备执行指令的处理的执行指示的情况下，声音操作系统1在操作面板40显示与用户的指示相关的画面。具体而言，在与指示关键字对应的画面为一个的情况下，声音操作系统1在操作面板40显示该画面。在与指示关键字对应的画面的候补为多个的情况下，声音操作系统1在操作面板40显示候补画面，并使用户选择所希望的画面。在指示关键字有多个的情况下，声音操作系统1在操作面板40显示与各个指示关键字对应的画面所共同的上位画面。由此，即使在用户通过声音指示的内容是对没有准备执行指令的处理的执行指示的情况下，也不会损害用户的操作性。

另外，在用户通过声音指示的内容是对既没有准备执行指令也没有准备画面转移指令的处理的执行指示的情况下，或者，在转移目的地的画面候补为多个，且使用户选择了所希望的画面的情况下，声音操作系统1将指示关键字、在图像形成装置100登录中的用户ID以及画面ID建立对应关系，并储存于硬盘530内的表格Z。由此，在下次由同一用户发出了相同的指示关键字的情况下，声音操作系统1能够确定出使操作面板40显示的操作画面。

此外，声音操作系统1也可以提供在服务器500中进行的处理的全部或者一部分来作为云服务。

也可以代替如上述那样储存于ROM413，而将由CPU411执行的程序储存于智能扬声器400具备的硬盘，也可以储存于相对于智能扬声器400可拆装的存储介质。储存该程序的存储介质例如能够列举CD－ROM(Compact Disk Read Only Memory：只读光盘)、DVD－ROM(Digital Versatile Disc Read Only Memory：只读数字通用盘)、USB(Universal SerialBus：通用串行总线)存储器、存储卡、FD(Floppy Disk：软盘)、硬盘、SSD(Solid StateDrive：固盘)、磁带、盒式磁带、MO(Magneto Optical Disc：磁光盘)、MD(Mini Disc：迷你盘)、IC(Integrated Circuit：集成电路)卡(除了存储卡之外)、光卡、掩模ROM(Read OnlyMemory：只读存储器)、EPROM(Erasable Programmable Read Only Memory：可擦可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read Only Memory：电可擦可编程只读存储器)等非易失性地储存数据的介质。

也可以代替如上述那样储存于ROM513，而将由CPU511执行的程序储存于硬盘530，也可以储存于相对于服务器500可拆装的存储介质。储存该程序的存储介质例如能够列举CD－ROM、DVD－ROM、USB存储器、存储卡、FD、硬盘、SSD、磁带、盒式磁带、MO、MD、IC卡(除了存储卡之外)、光卡、掩模ROM、EPROM、EEPROM等非易失性地储存数据的介质。

也可以代替如上述那样储存于ROM73，而将由CPU71执行的程序储存于硬盘80，也可以储存于相对于图像形成装置100可拆装的存储介质。储存该程序的存储介质例如能够列举CD－ROM、DVD－ROM、USB存储器、存储卡、FD、硬盘、SSD、磁带、盒式磁带、MO、MD、IC卡(除了存储卡之外)、光卡、掩模ROM、EPROM、EEPROM等非易失性地储存数据的介质。

[实施方式2]

接下来，对实施方式2进行说明。在实施方式1中，在提取出的指示关键字包含于表格B的情况下，声音操作系统1生成与指示关键字对应的执行指令。与此相对，在实施方式2中，即使在提取出的指示关键字包含于表格B的情况下，在用户通过声音指示的处理为特定的处理的情况下，声音操作系统也不生成执行指令而生成画面转移指令。以下，仅对与实施方式1不同的点进行说明，对与实施方式1相同的构成附加相同的附图标记，不重复其说明。

特定的处理是指执行指示其本身错误的可能性较高的处理。例如，特定的处理是在较深的层次的操作画面上指示执行的处理、执行次数在规定次数以下的处理、中止次数在规定次数以上的处理等。在较深的层次的操作画面上指示执行的处理处于用户的使用频率较低的趋势，所以考虑有执行指示其本身错误的可能性。另外，执行次数在规定次数以下的项目、中止次数在规定次数以上的项目也处于用户的使用频率较低的趋势，所以考虑有执行指示其本身错误的可能性。因此，在用户通过声音指示的处理为特定的处理的情况下，实施方式2中的声音操作系统1不生成执行指令而生成画面转移指令，并且不进行到处理的执行，而停留于画面转移。

参照图20以及图21，对特定的处理是在较深的层次的操作画面上指示执行的处理的情况进行说明。

图20是表示实施方式2中的表格B1的数据结构的图。表格B1储存于硬盘530，在由指令生成部5103进行的处理中进行参照。在表格B1中，指示关键字、执行指令以及画面层次建立对应关系。画面层次是指用于指示与指示关键字对应的处理的执行的操作画面的层次。“画面层次”一栏的数值越大，画面的层次越深。显示在层次较深的画面的项目处于使用频率较低的趋势。

图21是表示实施方式2中的指令生成处理的流程图。通过由CPU511执行储存于ROM513的规定的程序来实现图21所示的处理。

首先，控制部510判定在步骤S830中提取出的指示关键字是否包含于表格B1(步骤S2110A)。在步骤S830中提取出的指示关键字包含于表格B1的情况下(在步骤S2110A中为是)，控制部510移至步骤S2115A。另一方面，在步骤S830中提取出的指示关键字不包含于表格B1的情况下(在步骤S2110A中为否)，控制部510移至步骤S2130。

在步骤S2115A中，控制部510判定用于指示与指示关键字对应的处理的执行的操作画面的层次的深度是否是规定层次以上的深度。在用于指示与指示关键字对应的处理的执行的操作画面的层次的深度是规定层次以上的深度的情况下(在步骤S2115A中为是)，控制部510移至步骤S2140。另一方面，在用于指示与指示关键字对应的处理的执行的操作画面的层次的深度是小于规定层次的深度的情况下(在步骤S2115A中为否)，控制部510移至步骤S2120。

在步骤S2120中，控制部510参照表格B1，生成与指示关键字对应的执行指令。

在步骤S2130中，控制部510判定在步骤S830中提取出的指示关键字是否包含于表格A。在步骤S830中提取出的指示关键字包含于表格A的情况下(在步骤S2130中为是)，控制部510移至步骤S2140。另一方面，在步骤S830中提取出的指示关键字不包含于表格A的情况下(在步骤S2130中为否)，控制部510结束图21所示的一系列的处理。

在步骤S2140中，控制部510判定在步骤S830中提取出的指示关键字是否共同地包含于表格A所包含的多个指示关键字。例如，在步骤S830中提取出的指示关键字为“彩色”的情况下，由于“彩色”包含于“彩色复印”以及“彩色扫描”，所以控制部510判定为在步骤S830中提取出的指示关键字共同地包含于表格A所包含的多个指示关键字。在步骤S830中提取出的指示关键字共同地包含于表格A所包含的多个指示关键字的情况下(在步骤S2140中为是)，控制部510移至步骤S2145。另一方面，在步骤S830中提取出的指示关键字不共同地包含于表格A所包含的多个指示关键字的情况下(在步骤S2140中为否)，控制部510移至步骤S2150。

在步骤S2145中，控制部510生成指定了与表格A所包含的指示关键字中的共同地包含在步骤S830中提取出的指示关键字的多个指示关键字的各个建立对应关系的画面ID的画面转移指令。例如，在指示关键字为“彩色”的情况下，控制部510生成指定了“12125”这样的画面ID的画面转移指令、以及指定了“15125”这样的画面ID的画面转移指令。此外，在步骤S2145中，控制部510也可以在参照表格Z，在步骤S830中提取出的指示关键字与用户到此为止进行了操作的操作画面的画面ID建立对应关系的情况下，仅生成指定了该画面ID的画面转移指令。

在步骤S2150中，控制部510判定包含于表格A的在步骤S830中提取出的指示关键字是否为一个。在包含于表格A的在步骤S830中提取出的指示关键字为一个的情况下(在步骤S2150中为是)，控制部510移至步骤S2155。另一方面，在包含于表格A的在步骤S830中提取出的指示关键字不为一个的情况下(在步骤S2150中为否)，控制部510移至步骤S2160。

在步骤S2155中，控制部510生成指定了在表格A中与在步骤S830中提取出的指示关键字建立对应关系的画面ID的画面转移指令。例如，在指示关键字为“复印装订”的情况下，控制部510生成指定了“12128”这样的画面ID的画面转移指令。

在步骤S2160中，控制部510生成指定了在表格A中与在步骤S830中提取出的指示关键字的各个建立对应关系的上位画面的画面ID中的共同的画面ID的画面转移指令。在有多个共同的画面ID的情况下，控制部510生成指定了多个共同的画面ID中的最下层的画面ID的画面转移指令。例如，在指示关键字为“彩色复印”以及“复印装订”的情况下，控制部510生成指定了“12100”这样的画面ID的画面转移指令。

控制部510在步骤S2120、步骤S2145、步骤S2155或者步骤S2160之后，移至步骤S2170。在步骤S2170中，控制部510经由通信接口520向图像形成装置100发送执行指令或者画面转移指令。控制部510在步骤S2170之后，结束图21所示的一系列的处理。

参照图22以及图23，对特定的处理是执行次数在规定次数以下的处理的情况进行说明。

图22是表示实施方式2中的表格B2的数据结构的图。表格B2储存于硬盘530，并在由指令生成部5103进行的处理中进行参照。在表格B2中，指示关键字、执行指令以及执行次数建立对应关系。执行次数是指执行了与指示关键字对应的处理的次数。

图23是表示实施方式2中的指令生成处理的流程图。通过由CPU511执行储存于ROM513的规定的程序来实现图23所示的处理。图23所示的处理与图21所示的处理在步骤S2110B以及步骤S2115B中不同。

在步骤S2110B中，控制部510判定在步骤S830中提取出的指示关键字是否包含于表格B2。在步骤S830中提取出的指示关键字包含于表格B2的情况下(在步骤S2110B中为是)，控制部510移至步骤S2115B。另一方面，在步骤S830中提取出的指示关键字不包含于表格B2的情况下(在步骤S2110B中为否)，控制部510移至步骤S2130。

在步骤S2115B中，控制部510判定与指示关键字对应的处理的执行次数是否在规定次数以下。在与指示关键字对应的处理的执行次数在规定次数以下的情况下(在步骤S2115B中为是)，控制部510移至步骤S2140。另一方面，在与指示关键字对应的处理的执行次数比规定次数多的情况下(在步骤S2115B中为否)，控制部510移至步骤S2120。

图23所示的处理中的除了步骤S2110B以及步骤S2115B之外的处理与图21所示的处理相同，所以不重复说明。此外，步骤S2120替换为“控制部510参照表格B2，生成与指示关键字对应的执行指令。”。

参照图24以及图25，对特定的处理是中止次数在规定次数以上的处理的情况进行说明。

图24是表示实施方式2中的表格B3的数据结构的图。表格B3储存于硬盘530，并在由指令生成部5103进行的处理中进行参照。在表格B3中，指示关键字、执行指令以及中止次数建立对应关系。中止次数是指中止了与指示关键字对应的处理的次数。

图25是表示实施方式2中的指令生成处理的流程图。通过由CPU511执行储存于ROM513的规定的程序来实现图25所示的处理。图25所示的处理与图21所示的处理在步骤S2110C以及步骤S2115C中不同。

在步骤S2110C中，控制部510判定在步骤S830中提取出的指示关键字是否包含于表格B3。在步骤S830中提取出的指示关键字包含于表格B3的情况下(在步骤S2110C中为是)，控制部510移至步骤S2115C。另一方面，在步骤S830中提取出的指示关键字不包含于表格B3的情况下(在步骤S2110C中为否)，控制部510移至步骤S2130。

在步骤S2115C中，控制部510判定与指示关键字对应的处理的中止次数是否在规定次数以上。在与指示关键字对应的处理的中止次数在规定次数以上的情况下(在步骤S2115C中为是)，控制部510移至步骤S2140。另一方面，在与指示关键字对应的处理的中止次数小于规定次数的情况下(在步骤S2115C中为否)，控制部510移至步骤S2120。

图25所示的处理中的除了步骤S2110C以及步骤S2115C之外的处理与图21所示的处理相同，所以不重复说明。此外，步骤S2120替换为“控制部510参照表格B3，生成与指示关键字对应的执行指令。”。

这样，在实施方式2中，在受理了关于执行指示其本身错误的可能性较高的处理的执行指示的情况下，声音操作系统1不生成执行指令而生成画面转移指令。由此，能够停留于画面转移，而不执行处理，所以能够避免执行错误的处理。

[实施方式3]

接下来，对实施方式3进行说明。在实施方式1中，声音操作系统1仅具备一个种类的将指示关键字与操作画面的画面ID建立对应关系的表格A、以及将指示关键字与执行指令建立对应关系的表格B。与此相对，在实施方式3中，声音操作系统按照图像形成装置的机种、安装于图像形成装置的应用程序的版本具备将指示关键字与操作画面的画面ID建立对应关系的表格、以及将指示关键字与执行指令建立对应关系的表格。以下，仅对与实施方式1不同的点进行说明，对与实施方式1相同的构成附加相同的附图标记，不重复其说明。

参照图26以及图27，对声音操作系统1按照图像形成装置100的机种具备将指示关键字与操作画面的画面ID建立对应关系的表格A、以及将指示关键字与执行指令建立对应关系的表格B的情况进行说明。

图26是表示实施方式3中的表格C的数据结构的图。表格C储存于硬盘530，并在由指令生成部5103进行的处理中进行参照。

在表格C中，将图像形成装置100的设置场所、图像形成装置100的机种名、表格A的名称以及表格B的名称建立对应关系。在“设置场所”一栏记载有图像形成装置100的设置场所。在“机种名”一栏记载有图像形成装置100的机种名。在“表格A”一栏记载有将指示关键字与操作画面的画面ID建立对应关系的表格中的与图像形成装置100的机种名对应的表格的名称。在“表格B”一栏记载有将指示关键字与执行指令建立对应关系的表格中的与图像形成装置100的机种名对应的表格的名称。表格Aa、表格Ab、表格Ac具有与表格A相同的数据结构。表格Ba、表格Bb、表格Bc具有与表格B相同的数据结构。

若用户在指定了图像形成装置100的设置场所或者图像形成装置100的机种名之后朝向智能扬声器400发出对图像形成装置100的指示，则控制部510参照表格C，选择与指定的设置场所或者机种名对应的表格A以及表格B。控制部510参照选择出的表格，生成指令。此外，用户指定图像形成装置100的设置场所或者图像形成装置100的机种名的方法有通过声音进行指定的方法、在操作面板40上进行指定的方法。

图27是表示实施方式3中的指令生成处理的流程图。通过由CPU511执行储存于ROM513的规定的程序来实现图27所示的处理。

首先，控制部510参照表格C，选择指令生成处理所使用的表格A以及表格B(步骤S2705A)。

接下来，控制部510判定在步骤S830中提取出的指示关键字是否包含于在步骤S2705A中选择出的表格B(步骤S2710)。在步骤S830中提取出的指示关键字包含于在步骤S2705A中选择出的表格B的情况下(在步骤S2710中为是)，控制部510移至步骤S2720。另一方面，在步骤S830中提取出的指示关键字不包含于在步骤S2705A中选择出的表格B的情况下(在步骤S2710中为否)，控制部510移至步骤S2730。

在步骤S2720中，控制部510参照在步骤S2705A中选择出的表格B，生成与指示关键字对应的执行指令。

在步骤S2730中，控制部510判定在步骤S830中提取出的指示关键字是否包含于在步骤S2705A中选择出的表格A。在步骤S830中提取出的指示关键字包含于在步骤S2705A中选择出的表格A的情况下(在步骤S2730中为是)，控制部510移至步骤S2740。在步骤S830中提取出的指示关键字不包含于在步骤S2705A中选择出的表格A的情况下(在步骤S2730中为否)，控制部510结束图27所示的一系列的处理。

在步骤S2740中，控制部510判定在步骤S830中提取出的指示关键字是否共同地包含于在步骤S2705A中选择出的表格A所包含的多个指示关键字。例如，在步骤S830提取出的指示关键字为“彩色”的情况下，由于“彩色”包含于“彩色复印”以及“彩色扫描”，所以控制部510判定为在步骤S830中提取出的指示关键字共同地包含于表格A所包含的多个指示关键字。在步骤S830中提取出的指示关键字共同地包含于在步骤S2705A中选择出的表格A所包含的多个指示关键字的情况下(在步骤S2740中为是)，控制部510移至步骤S2745。另一方面，在步骤S830中提取出的指示关键字不共同地包含于在步骤S2705A中选择出的表格A所包含的多个指示关键字的情况下(在步骤S2740中为否)，控制部510移至步骤S2750。

在步骤S2745中，控制部510生成指定了与在步骤S2705A中选择出的表格A所包含的指示关键字中的共同地包含在步骤S830中提取出的指示关键字的多个指示关键字的各个建立对应关系的画面ID的画面转移指令。例如，在指示关键字为“彩色”的情况下，控制部510生成指定了“12125”这样的画面ID的画面转移指令、以及指定了“15125”这样的画面ID的画面转移指令。此外，在步骤S2745中，控制部510也可以在参照表格Z，在步骤S830中提取出的指示关键字与用户到此为止进行了操作的操作画面的画面ID建立对应关系的情况下，仅生成指定了该画面ID的画面转移指令。

在步骤S2750中，控制部510判定包含于在步骤S2705A中选择出的表格A的在步骤S830中提取出的指示关键字是否为一个。在包含于在步骤S2705A中选择出的表格A的在步骤S830中提取出的指示关键字为一个的情况下(在步骤S2750中为是)，控制部510移至步骤S2755。另一方面，在包含于在步骤S2705A中选择出的表格A的在步骤S830中提取出的指示关键字不为一个的情况下(在步骤S2750中为否)，控制部510移至步骤S2760。

在步骤S2755中，控制部510生成指定了在步骤S2705A中选择出的表格A中与在步骤S830中提取出的指示关键字建立对应关系的画面ID的画面转移指令。例如，在指示关键字为“复印装订”的情况下，控制部510生成指定了“12128”这样的画面ID的画面转移指令。

在步骤S2760中，控制部510生成指定了在步骤S2705A中选择出的表格A中与在步骤S830中提取出的指示关键字的各个建立对应关系的上位画面的画面ID中的共同的画面ID的画面转移指令。在有多个共同的画面ID的情况下，控制部510生成指定了多个共同的画面ID中的最下层的画面ID的画面转移指令。例如，在指示关键字为“彩色复印”以及“复印装订”的情况下，控制部510生成指定了“12100”这样的画面ID的画面转移指令。

控制部510在步骤S2720、步骤S2745、步骤S2755或者步骤S2760之后，移至步骤S2770。在步骤S2770中，控制部510经由通信接口520向图像形成装置100发送执行指令或者画面转移指令。控制部510在步骤S2770之后，结束图27所示的一系列的处理。

参照图28以及图29，对声音操作系统1按照安装于图像形成装置100的应用程序的版本具备将指示关键字与操作画面的画面ID建立对应关系的表格A、以及将指示关键字与执行指令建立对应关系的表格B的情况进行说明。

图28是表示实施方式3中的表格D的数据结构的图。表格D储存于硬盘530，并在由指令生成部5103进行的处理中进行参照。

在表格D中，将图像形成装置100的设置场所、安装于图像形成装置100的应用程序的版本、表格A的名称以及表格B的名称建立对应关系。在“设置场所”一栏记载有图像形成装置100的设置场所。在“版本”一栏记载有安装于图像形成装置100的应用程序的版本。在“表格A”一栏记载有将指示关键字与操作画面的画面ID建立对应关系的表格中的与安装于图像形成装置100的应用程序的版本对应的表格的名称。在“表格B”一栏记载有将指示关键字与执行指令建立对应关系的表格中的与安装于图像形成装置100的应用程序的版本对应的表格的名称。表格A51、表格A62、表格A71具有与表格A相同的数据结构。表格B51、表格B62、表格B71具有与表格B相同的数据结构。

若用户在指定了图像形成装置100的设置场所或者安装于图像形成装置100的应用程序的版本之后朝向智能扬声器400发出对图像形成装置100的指示，则控制部510参照表格D，选择与指定的设置场所或者安装于图像形成装置100的应用程序的版本对应的表格A以及表格B。控制部510参照选择出的表格，生成指令。此外，用户指定图像形成装置100的设置场所或者安装于图像形成装置100的应用程序的版本的方法有通过声音进行指定的方法、在操作面板40上进行指定的方法。

图29是表示实施方式3中的指令生成处理的流程图。通过由CPU511执行储存于ROM513的规定的程序来实现图29所示的处理。图29所示的处理与图27所示的处理在步骤S2705B中不同。在步骤S2705B中，控制部510参照表格D，选择指令生成处理所使用的表格A以及表格B。

图29所示的处理中的除了步骤S2705B之外的处理与图27所示的处理相同，所以不重复说明。此外，步骤S2710替换为“控制部510判定在步骤S830中提取出的指示关键字是否包含于在步骤S2705B中选择出的表格B”。步骤S2720替换为“控制部510参照在步骤S2705B中选择出的表格B，生成与指示关键字对应的执行指令。”。步骤S2730替换为“控制部510判定在步骤S830中提取出的指示关键字是否包含于在步骤S2705B中选择出的表格A。”。步骤S2740替换为“控制部510判定在步骤S830中提取出的指示关键字是否共同地包含于在步骤S2705B中选择出的表格A所包含的多个指示关键字。”。步骤S2745替换为“控制部510生成指定了与在步骤S2705B中选择出的表格A所包含的指示关键字中的、共同地包含在步骤S830中提取出的指示关键字的多个指示关键字的各个建立对应关系的画面ID的画面转移指令。”。步骤S2750替换为“控制部510判定包含于在步骤S2705B中选择出的表格A的在步骤S830中提取出的指示关键字是否为一个。”。步骤S2755替换为“控制部510生成指定了在步骤S2705B中选择出的表格A中与在步骤S830中提取出的指示关键字建立对应关系的画面ID的画面转移指令。”。步骤S2760替换为“控制部510生成指定了在步骤S2705B中选择出的表格A中与在步骤S830中提取出的指示关键字的各个建立对应关系的上位画面的画面ID中的共同的画面ID的画面转移指令。”。

这样，在实施方式3中，声音操作系统1能够根据图像形成装置100的机种或者安装于图像形成装置100的应用程序的版本，生成与指示关键字对应的指令。一般而言，在较旧的机种的图像形成装置100、安装较旧的版本的应用程序的图像形成装置100中不与声音操作对应的指示关键字有可能在较新的机种的图像形成装置100、安装较新的版本的应用程序的图像形成装置100中与声音操作对应。在实施方式3中，由于根据图像形成装置100的机种或者安装于图像形成装置100的应用程序的版本进行指令生成处理，所以用户的操作性进一步提高。

此外，声音操作系统1也可以根据图像形成装置100的机种以及安装于图像形成装置100的应用程序的版本，来生成指令。

[实施方式4]

接下来，对实施方式4进行说明。在实施方式1中，声音操作系统1具备智能扬声器400、服务器500以及图像形成装置100。与此相对，在实施方式4中，能够利用图像形成装置单体应对声音操作。以下，仅对与实施方式1不同的点进行说明，对与实施方式1相同的构成附加相同的附图标记，不重复其说明。

图30是表示实施方式4中的图像形成装置100A的硬件构成的框图。图像形成装置100A具备扫描仪10、打印机20、供纸部30、操作面板40、传真机50、通信接口60、麦克风63、扬声器65、控制部70A以及硬盘80。扫描仪10、打印机20、供纸部30、操作面板40、传真机50、通信接口60、麦克风63、扬声器65、控制部70A以及硬盘80经由总线90连接。

麦克风63通过声音受理对图像形成装置100A的操作指示。扬声器65将控制部70A生成的声音数据声音化并输出。控制部70A具备CPU71A、RAM72A以及ROM73A。CPU71A通过执行保存于ROM73A等的动作程序，总体地控制图像形成装置100A整体。ROM73A存储CPU71A执行的程序、其它的数据。RAM72A成为CPU71A执行程序时的工作区，暂时存储程序、执行程序时的数据等。

图31是表示实施方式4中的图像形成装置100A的功能构成的图。通过由CPU71A执行储存于ROM73A的规定的程序来实现声音受理部701A、声音识别部702A、提取部703A、指令生成部704A、执行部705A、文本数据生成部706A、声音输出部707A以及登记部708A。

声音受理部701A经由麦克风63通过声音受理对图像形成装置100A的操作指示。声音受理部701A将受理的声音转换为声音数据。

声音识别部702A从声音受理部701A接受声音数据，并生成与声音数据对应的文本数据。另外，声音识别部702A将由文本数据生成部706A生成的文本数据转换为声音数据。此外，也可以利用提供相同的功能的云服务代用声音识别部702A。

提取部703A从由声音识别部702A生成的文本数据中提取指示关键字。

指令生成部704A参照硬盘80内的表格，生成与由提取部703A提取出的指示关键字对应的指令。指令生成部704A中的处理是与在实施方式1中说明的指令生成处理相同的处理。在实施方式4中，将指示关键字与操作画面的画面ID建立对应关系的表格A、以及将指示关键字与执行指令建立对应关系的表格B储存于硬盘80。此外，在实施方式4中，指令生成处理的步骤S970替换为“控制部70A将执行指令或者画面转移指令发送给执行部705A。”。

执行部705A基于执行指令或者画面转移指令执行处理。

文本数据生成部706A在指令生成部704A生成了画面转移指令的情况下，或者，在指令生成部704A没有生成任何的指令的情况下，生成使扬声器65输出的声音的文本数据。由文本数据生成部706A以及声音识别部702A进行的使扬声器65进行声音输出的处理是与在实施方式1中说明的指示声音输出的处理相同的处理。此外，在实施方式4中，指示声音输出的处理的步骤S1080替换为“控制部70A将声音数据发送给声音输出部707A”。

声音输出部707A将从声音识别部702A受理的声音数据声音化并经由扬声器65输出。

登记部708A将指示关键字、用户进行了操作的操作画面的画面ID、以及在图像形成装置100A登录中的用户ID建立对应关系，并保存于硬盘80内的表格Z。表格Z是按照每个用户设置，并记录了每个用户的趋势(例如，过去的设定操作)的表格。登记部708A选择在图像形成装置100A登录中的用户的表格Z，将指示关键字与操作画面的画面ID建立对应关系并保存于该表格Z。在下次同一用户发出了相同的指示关键字的情况下，在确定使操作面板40显示的操作画面的情况下参照保存于表格Z的信息。

这样，在实施方式4中，能够利用图像形成装置100A单体应对声音操作。另外，图像形成装置100A仅对使用频率较高的处理具备使基于声音的执行成为可能的执行指令，对其以外的处理仅具备画面转移指令。由此，能够抑制开发的执行指令的数目，所以能够抑制开发工时。

另外，在用户通过声音指示的内容是对没有准备执行指令的处理的执行指示的情况下，图像形成装置100A将与用户的指示相关的画面显示于操作面板40。具体而言，在与指示关键字对应的画面为一个的情况下，图像形成装置100A将该画面显示于操作面板40。在与指示关键字对应的画面的候补为多个的情况下，图像形成装置100A在操作面板40显示候补画面，并使用户选择所希望的画面。在指示关键字有多个的情况下，图像形成装置100A在操作面板40显示与各个指示关键字对应的画面所共同的上位画面。由此，即使在用户通过声音指示的内容是对没有准备执行指令的处理的执行指示的情况下，也不损害用户的操作性。

另外，在用户通过声音指示的内容是对既没有准备执行指令也没有准备画面转移指令的处理的执行指示的情况下，或者，在有多个转移目的地的画面候补，并使用户选择所希望的画面的情况下，图像形成装置100A将指示关键字、在图像形成装置100A登录中的用户ID、以及画面ID建立对应关系，并储存于硬盘80内的表格Z。由此，在下次同一用户发出了相同的指示关键字的情况下，图像形成装置100A能够确定使操作面板40显示的操作画面。

通过CPU71A执行的程序也可以代替如上述那样储存于ROM73A，而储存于硬盘80，也可以储存于相对于图像形成装置100A可拆装的存储介质。储存该程序的存储介质例如能够列举CD－ROM、DVD－ROM、USB存储器、存储卡、FD、硬盘、SSD、磁带、盒式磁带、MO、MD、IC卡(除了存储卡之外)、光卡、掩模ROM、EPROM、EEPROM等非易失性地储存数据的介质。

以上，对各实施方式进行了说明。实施方式1～实施方式3也可以任意地组合。另外，实施方式2～实施方式4也可以任意地组合。

虽然对本发明的实施方式进行了说明，但应该理解这次公开的实施方式在全部的点进行例示，而并不是限制性的实施方式。本发明的范围根据权利要求书示出，包含与权利要求书同等的意思以及范围内的全部的变更。

Claims (16)

1.一种声音操作系统，是具备处理装置和能够与上述处理装置进行通信的控制装置的声音操作系统，其中，

上述处理装置具有：

操作面板，显示用于指示在上述处理装置中执行的处理的操作画面，并且受理用户的指示；以及

执行部，执行与从上述控制装置接收到的指令对应的处理，

上述控制装置具有：

指令生成部，基于输入的声音生成针对上述处理装置的上述指令；以及

发送部，向上述处理装置发送上述指令，

在上述声音是对上述处理装置指示第一处理的执行的声音的情况下，上述指令生成部生成第一指令，上述第一指令指示在上述操作面板显示用于指示上述第一处理的执行的上述操作画面，

在上述声音是对上述处理装置指示第二处理的执行的声音的情况下，上述指令生成部生成第二指令，上述第二指令指示上述第二处理的执行。

2.根据权利要求1所述的声音操作系统，其中，

上述控制装置还具有存储部，上述存储部存储第一数据和第二数据，在上述第一数据中，将指示关键字和与上述指示关键字对应的上述操作画面的识别编号建立对应关系，在上述第二数据中，将多个上述指示关键字中的特定的指示关键字和指示与上述特定的指示关键字对应的处理的执行的上述第二指令建立对应关系，

在上述声音所包含的上述指示关键字不包含于上述第二数据但包含于上述第一数据的情况下，上述指令生成部参照上述第一数据生成上述第一指令，

在上述声音所包含的上述指示关键字包含于上述第二数据的情况下，上述指令生成部参照上述第二数据生成上述第二指令。

3.根据权利要求2所述的声音操作系统，其中，

在上述声音所包含的上述指示关键字不包含于上述第一数据和上述第二数据中的任意一个的情况下，上述控制装置使用户在上述操作面板上指示上述处理装置应该执行的处理。

4.根据权利要求3所述的声音操作系统，其中，

在上述操作面板上指示了上述处理装置应该执行的处理的情况下，上述控制装置将上述声音所包含的上述指示关键字、用户进行了操作的上述操作画面的识别编号以及用户信息建立对应关系并进行存储。

5.根据权利要求2～4中的任意一项所述的声音操作系统，其中，

在上述第一数据中，还将位于与上述指示关键字对应的上述操作画面的上位层次的上位画面的信息与上述指示关键字建立对应关系，

在上述声音包含多个指示关键字的情况下，上述指令生成部生成指示在上述操作面板显示上述多个指示关键字所共同的上述上位画面的上述第一指令。

6.根据权利要求2～5中的任意一项所述的声音操作系统，其中，

在存在多个与上述声音所包含的上述指示关键字对应的上述操作画面的候补的情况下，上述控制装置使用户在上述操作面板上从上述操作画面的候补中选择一个操作画面。

7.根据权利要求6所述的声音操作系统，其中，

在上述操作面板上选择了上述一个操作画面的情况下，上述控制装置将上述声音所包含的上述指示关键字、上述一个操作画面的识别编号以及用户信息建立对应关系并进行存储。

8.根据权利要求2～7中的任意一项所述的声音操作系统，其中，

即使在上述声音所包含的上述指示关键字包含于上述第二数据的情况下，在与上述指示关键字对应的处理是特定的处理的情况下，上述指令生成部也参照上述第一数据生成上述第一指令。

9.根据权利要求8所述的声音操作系统，其中，

在上述第二数据中，还将与上述指示关键字对应的上述操作画面的层次信息与上述指示关键字建立对应关系，

上述特定的处理是用于指示上述特定的处理的执行的上述操作画面的层次的深度为规定层次以上的深度的处理。

10.根据权利要求8所述的声音操作系统，其中，

在上述第二数据中，还将与上述指示关键字对应的处理的执行次数与上述指示关键字建立对应关系，

上述特定的处理是上述执行次数为规定次数以下的处理。

11.根据权利要求8所述的声音操作系统，其中，

在上述第二数据中，还将与上述指示关键字对应的处理的中止次数与上述指示关键字建立对应关系，

上述特定的处理是上述中止次数为规定次数以上的处理。

12.根据权利要求2～11中的任意一项所述的声音操作系统，其中，

上述存储部按照上述处理装置的机种存储上述第一数据以及上述第二数据，

在上述声音所包含的上述指示关键字不包含于与上述处理装置的机种对应的上述第二数据但包含于与上述处理装置的机种对应的上述第一数据的情况下，上述指令生成部参照与上述处理装置的机种对应的上述第一数据生成上述第一指令，

在上述声音所包含的上述指示关键字包含于与上述处理装置的机种对应的上述第二数据的情况下，上述指令生成部参照与上述处理装置的机种对应的上述第二数据生成上述第二指令。

13.根据权利要求2～12中的任意一项所述的声音操作系统，其中，

上述存储部按照安装于上述处理装置的应用程序的版本存储上述第一数据以及上述第二数据，

在上述声音所包含的上述指示关键字不包含于与上述应用程序的版本对应的上述第二数据但包含于与上述应用程序的版本对应的上述第一数据的情况下，上述指令生成部参照与上述应用程序的版本对应的上述第一数据生成上述第一指令，

在上述声音所包含的上述指示关键字包含于与上述应用程序的版本对应的上述第二数据的情况下，上述指令生成部参照与上述应用程序的版本对应的上述第二数据生成上述第二指令。

14.一种控制装置，是能够与处理装置进行通信的控制装置，其中，

上述控制装置具有：

指令生成部，基于输入的声音生成针对上述处理装置的指令；以及

发送部，向上述处理装置发送上述指令，

在上述声音是对上述处理装置指示第一处理的执行的声音的情况下，上述指令生成部生成第一指令，上述第一指令指示在上述处理装置的操作面板显示用于指示上述第一处理的执行的操作画面，

在上述声音是对上述处理装置指示第二处理的执行的声音的情况下，上述指令生成部生成第二指令，上述第二指令指示上述第二处理的执行。

15.一种计算机能够读取的记录介质，储存有在能够与处理装置进行通信的计算机中执行的控制程序，其中，

上述控制程序使上述计算机执行以下处理：

基于输入的声音生成针对上述处理装置的指令；以及

向上述处理装置发送上述指令，

在生成上述指令的处理中包括：

在上述声音是对上述处理装置指示第一处理的执行的声音的情况下，生成第一指令，上述第一指令指示在上述处理装置的操作面板显示用于指示上述第一处理的执行的操作画面；以及

在上述声音是对上述处理装置指示第二处理的执行的声音的情况下，生成第二指令，上述第二指令指示上述第二处理的执行。

16.一种处理装置，其中，具备：

声音受理部，受理声音的输入；

操作面板，显示操作画面；

指令生成部，基于输入的声音生成指令；以及

执行部，执行与上述指令对应的处理，

在上述声音是对上述处理装置指示第一处理的执行的声音的情况下，上述指令生成部生成第一指令，上述第一指令指示在上述操作面板显示用于指示上述第一处理的执行的上述操作画面，

在上述声音是对上述处理装置指示第二处理的执行的声音的情况下，上述指令生成部生成第二指令，上述第二指令指示上述第二处理的执行。

Images