CN111698378A - 控制装置、图像形成系统以及记录介质 - Google Patents

控制装置、图像形成系统以及记录介质 Download PDF

Info

Publication number
CN111698378A
CN111698378A CN202010161879.3A CN202010161879A CN111698378A CN 111698378 A CN111698378 A CN 111698378A CN 202010161879 A CN202010161879 A CN 202010161879A CN 111698378 A CN111698378 A CN 111698378A
Authority
CN
China
Prior art keywords
voice
output
content
time
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010161879.3A
Other languages
English (en)
Other versions
CN111698378B (zh
Inventor
小林美奈子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of CN111698378A publication Critical patent/CN111698378A/zh
Application granted granted Critical
Publication of CN111698378B publication Critical patent/CN111698378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00885—Power supply means, e.g. arrangements for the control of power supply to the apparatus or components thereof
    • H04N1/00888—Control thereof
    • H04N1/00896—Control thereof using a low-power mode, e.g. standby
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00395—Arrangements for reducing operator input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00403—Voice input means, e.g. voice commands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00885—Power supply means, e.g. arrangements for the control of power supply to the apparatus or components thereof
    • H04N1/00888—Control thereof
    • H04N1/00891—Switching on or off, e.g. for saving power when not in use
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Facsimiles In General (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)

Abstract

提供一种控制装置、图像形成系统以及记录介质，能够降低从进行语音指示到开始处理为止的所需时间。在用户语音指示“进行复印”时，智能扬声器将该语音数据发送到语音AI服务器。语音AI服务器通过语音识别处理以及自然语言解析处理，从语音数据抽出针对多功能外设的指示内容，将得到的指示内容发送到MFP控制服务器。MFP控制服务器生成与该指示内容对应的作业数据，发送到多功能外设。在多功能外设无法使用操作面板受理用户的作业开始指示的情况下，将与多功能外设的动作状态对应的文本数据发送到语音AI服务器。语音AI服务器根据该应答文本合成语音数据，使智能扬声器进行语音输出。

Description

控制装置、图像形成系统以及记录介质
技术领域
本发明涉及用于对图像形成装置进行语音指示的控制装置、图像形成系统以及记录介质，特别是涉及抑制对图像形成装置进行语音指示时的用户的等待时间的延长的技术。
背景技术
近年来，智能扬声器以及IoT设备得到普及，所以能够使用智能扬声器进行语音操作的设备逐步增加，并且关于图像形成装置，也通过应对这样的语音操作从而期望提高用户的便利性。具体而言，利用麦克风受理语音输入而生成语音数据，通过语音识别将该语音数据变换为文本数据，并对该文本数据进行自然语言解析，从而确定指示内容。而且，将该指示内容变换为针对图像形成装置的指令并输入到图像形成装置，从而执行语音指示。
在图像形成装置的作业中有大量的设定项目，优选为用户能够在即将执行作业之前或用户设定时等作业的执行之前确认设定内容。这不仅在手动设定时是同样的，而且在进行语音设定的情况下也是同样的。在确认作业的设定内容时，还有时考虑用户遗漏设定的可能性，针对用户未设定的项目也进行确认。
因此，如果图像形成装置想要通过语音输出来确认设定内容，则需要相当长的时间。如果由于漏听确认语音而要重新提问，则更需要时间。根据这样的观点，可以说高效的做法是通过在操作面板上一览显示设定内容而使用户确认。
这样，在执行从用户通过语音来接受的指示之前向用户确认其指示内容时，相比于通过语音来确认，在操作面板上显示指示内容来确认的做法有时更高效。
然而，在图像形成装置成为省电模式等而操作面板关闭(OFF)的状态、或其他用户使用操作面板的状态下，无法显示指示内容(在上述例子中是作业的设定内容的一览)而使用户确认。
针对由于省电模式而操作面板关闭的情况，例如提出了详查语音指令的内容而使图像形成装置从休眠状态恢复至可利用被请求的功能的程度(参照专利文献1)、或者仅在具有被请求的功能的情况下使图像形成装置恢复(参照专利文献2)的技术。由此，使操作面板恢复至可动作的状态，所以能够显示指示内容而使用户确认。
现有技术文献
专利文献1：日本特开2015-041123号公报
专利文献2：日本特开2007-021808号公报
发明内容
然而，在上述以往技术中，直至操作面板恢复为可动作的状态，无法显示指示内容，所以存在直至开始用户确认为止花费过多时间这样的问题。
另外，关于其他用户使用操作面板的状态的情况，也存在必须等待至操作面板成为可使用这样的问题。
本发明是鉴于如上所述的问题而完成的，其目的在于提供一种能够根据操作面板的动作状态而高效地确认进行了语音指示的处理内容的控制装置、图像形成系统以及程序。
为了达到上述目的，本发明的一个方式所涉及的控制装置是根据通过语音来指示的处理内容而使图像形成装置执行处理的控制装置，其特征在于，具备：显示控制单元，在执行所述处理之前，使所述处理内容显示于所述图像形成装置的显示装置；动作状态取得单元，取得所述显示装置的动作状态；以及决定单元，根据所取得的所述显示装置的动作状态，决定为了催促确认所述处理内容而应输出的语音的内容。
在该情况下，优选为所述动作状态包括是否是所述显示装置的至少一部分电源为关闭的休眠模式的动作状态。
另外，也可以在所述休眠模式中具有：直至能够使所述处理内容显示于所述显示装置为止的时间是第1预定时间的第1阶段的休眠模式、以及直至能够进行该显示为止的时间是比所述第1预定时间长的第2预定时间的第2阶段的休眠模式，所述动作状态取得单元取得表示所述休眠模式是所述第1阶段和所述第2阶段中的哪一个的动作状态，所述决定单元根据由所述动作状态取得单元取得的表示所述休眠模式是所述第1阶段和所述第2阶段中的哪一个的动作状态，决定应输出的语音的内容。
另外，也可以具备推测单元，该推测单元根据由所述动作状态取得单元取得的动作状态，推测直至能够由所述显示装置显示为止的启动时间，所述决定单元根据所述启动时间，决定所述语音内容。
另外，也可以在所述决定单元中，在所述启动时间比用于对预定的项目进行语音输出所需的输出时间长的情况下，以包括所有该预定的项目的方式决定所述语音内容，在所述启动时间比所述输出时间短的情况下，以由所述预定的项目之中的除了至少一部分项目以外的项目构成的方式决定所述语音内容。
另外，也可以具备语音追加单元，该语音追加单元根据从所述启动时间减去用于对所述决定单元决定的所述语音内容进行语音输出所需的输出时间而得到的剩余时间，决定所述语音内容以外的追加内容。
另外，也可以是所述显示装置具备：使用状态判定单元，判定对所述处理内容进行了语音输入的用户以外的用户是否正在使用所述显示装置；以及语音输出控制单元，在所述决定单元决定所述语音内容之后，在所述使用状态判定单元的判定结果成为否定之前对该语音内容进行语音输出，如果所述使用状态判定单元的判定结果成为否定，则使该语音输出停止。
另外，也可以是所述决定单元决定的语音内容被划分为多个部分，所述语音输出控制单元在所述使用状态判定单元的判定结果成为否定时，在正在输出的部分的语音输出完成的时间点，使所述语音输出停止。
另外，优选为所述语音输出控制单元在所述使用状态判定单元的判定结果成为否定时，在所述决定单元决定的语音内容之中的未输出部分的输出时间比预定时间短的情况下，不使所述语音输出停止。
另外，也可以具备禁止单元，在所述语音输出控制单元不使所述语音输出停止的情况下，所述禁止单元禁止在所述显示装置中显示所述处理内容。
另外，优选为具备确认单元，在所述语音输出控制单元不使所述语音输出停止的情况下，所述确认单元向进行了所述语音输入的用户确认是否使所述显示装置显示所述处理内容，在所述确认结果是肯定的情况下，显示所述处理内容。
另外，也可以具备处理开始单元，该处理开始单元在所述确认结果是否定的情况下，不等待进行了所述语音输入的用户指示所述处理的开始，而使所述图像形成装置开始该处理。
另外，也可以具备显示通知单元，在所述停止后在所述显示装置中显示所述处理内容的情况下，所述显示通知单元语音输出其意思。
另外，本发明的一个方式所涉及的图像形成系统的特征在于，具备：图像形成装置；以及本发明的一个方式所涉及的控制装置。
另外，本发明的一个方式所涉及的程序是使计算机执行根据通过语音来指示的处理内容而使图像形成装置执行处理的控制的程序，其特征在于，使计算机执行：显示控制步骤，在执行所述处理之前，使所述处理内容显示于所述图像形成装置的显示装置；动作状态取得步骤，取得所述显示装置的动作状态；以及决定步骤，根据所取得的所述显示装置的动作状态，决定为了催促确认所述处理内容而应输出的语音的内容。
由此，能够根据操作面板的动作状态而高效地确认进行了语音指示的处理内容。
附图说明
图1是示出图像形成系统的主要的结构的图。
图2是例示图像形成系统的动作的时序图。
图3是示出智能扬声器111的主要的结构的框图。
图4是示出语音AI服务器102的主要的结构的框图。
图5是示出MFP控制服务器101的主要的结构的框图。
图6是示出多功能外设112的主要的结构的外观立体图。
图7是示出多功能外设112的主要的结构的框图。
图8是示出MFP控制服务器101的主要的动作的流程图。
图9是示出MFP控制服务器101执行的设定内容确认处理的流程图。
图10是示出MFP控制服务器101执行的启动中处理(In-Start-Up Processing)的流程图。
图11是示出MFP控制服务器101执行的面板操作中处理的流程图。
(符号说明)
1：图像形成系统；101：MFP控制服务器；102：语音AI服务器；103：因特网；111：智能扬声器；112：多功能外设；113：LAN；600：操作面板。
具体实施方式
以下，参照附图，说明本发明所涉及的控制装置、图像形成系统以及程序的实施方式。
[1]图像形成系统的结构
首先，说明本实施方式所涉及的图像形成系统的结构。
如图1所示，图像形成系统1包括云系统100和用户系统110。在用户系统110中，将智能扬声器(SS：Smart Speaker)111和多功能外设(MFP：Multi-Function Peripheral)112连接到LAN(Local Area Network，局域网)113。
另外，在云系统100中，将MFP控制服务器101和语音AI(ArtificialIntelligence，人工智能)服务器102这2个云服务器连接到因特网103。对因特网103还连接有LAN113。智能扬声器111、语音AI服务器102以及MFP控制服务器101构成用于用户对多功能外设112进行语音指示的语音接口装置。
如图2所示，如果多功能外设112的用户针对智能扬声器111例如语音输入“进行复印”这样的指示，则智能扬声器111根据语音信号生成语音数据，并经由LAN113和因特网103将该语音数据发送到语音AI服务器102。
语音AI服务器102通过语音识别处理，从语音数据生成文本数据，进而针对该文本数据，通过自然语言解析处理来抽出针对多功能外设112的指示内容。语音AI服务器102既可以使用公知的AI技术来执行语音识别处理以及自然语言解析处理，也可以使用AI技术以外的技术。语音AI服务器102将抽出的指示内容发送到MFP控制服务器101。
MFP控制服务器101是对多功能外设112进行控制的控制装置，如果从语音AI服务器102接收到指示内容，则生成与该指示内容对应的指令，向与受理了该语音指示的智能扬声器111对应关联的多功能外设112发送该指令。指令例如是使扫描作业、打印作业等作业执行的指示、将作业的设定内容进行变更的指示等。另外，MFP控制服务器101监视多功能外设112的动作状态，将与多功能外设112的动作状态对应的应答文本(文本数据)发送到语音AI服务器102。
语音AI服务器102如果从MFP控制服务器101接收到应答文本，则通过语音合成处理从该应答文本合成语音数据，并将该语音数据以流方式发送到智能扬声器111。智能扬声器111对接收到的语音数据依次进行语音输出。
[2]智能扬声器111的结构
接下来，说明智能扬声器111的结构。
如图3所示，智能扬声器111具备语音处理部301和通信控制部302，对语音处理部301连接有麦克风311和扬声器312。
语音处理部301对使用麦克风311收集的模拟语音信号进行AD(Analogue toDigital，模拟到数字)变换，生成进一步压缩编码的语音数据，或者从自通信控制部302受理的语音数据复原模拟语音信号后使扬声器312输出语音。通信控制部302执行用于经由因特网103而与语音AI服务器102进行语音数据等的发送接收的通信处理。
[3]语音AI服务器102的结构
接下来，说明语音AI服务器102的结构。
如图4所示，语音AI服务器102具备CPU(Central Processing Unit，中央处理单元)400、ROM(Read Only Memory，只读存储器)401、RAM(Random Access Memory，随机存取存储器)402等，CPU400在复位后从ROM401读出引导程序而起动，将RAM402作为作业用存储区域，从HDD(Hard Disk Drive，硬盘驱动器)403读出OS(Operating System，操作系统)及其他程序并执行。
NIC(Network Interface Card，网络接口卡)404执行用于经由因特网103而与智能扬声器111、MFP控制服务器101相互连接的通信处理。
语音处理部405执行从智能扬声器111受理的语音数据的语音识别处理、向智能扬声器111发送的语音数据的语音合成处理。
语言处理部406执行语音处理部405生成的文本数据的自然语言解析处理。由此，例如在用户朝向智能扬声器111发声了特定的关键字时，语音AI服务器102辨别该关键字而转移到语音指示受理模式，之后识别接下来的用户的语音指示，确定该指示内容。
[4]MFP控制服务器101的结构
接下来，说明MFP控制服务器101的结构。
如图5所示，MFP控制服务器101具备CPU500、ROM501、RAM502等，CPU500在复位后从ROM501读出引导程序而起动，将RAM502作为作业用存储区域，从HDD503读出OS等程序并执行。NIC504执行用于经由因特网103而与语音AI服务器102、多功能外设112相互连接的通信处理。
通过具备这样的结构，能够生成应答文本并发送到语音AI服务器102，或者生成指令并发送到多功能外设112。
[5]多功能外设112的结构
接下来，说明多功能外设112的结构。多功能外设112是兼具单色以及彩色的图像形成功能、复印功能、传真功能等功能的图像形成装置。
如图6所示，多功能外设112具备图像读取部610、图像形成部620以及供纸部630。图像读取部610从放置于原稿托盘611的原稿束，使用自动原稿搬送装置(ADF：AutomaticDocument Feeder)612逐张地送出原稿，在以所谓的片材通过方式(sheet-throughmethod)读取该原稿之后，将该原稿排出到排纸托盘613。由此，生成图像数据。
图像形成部620具有形成调色剂像并转印到记录片材的成像部、使调色剂像在记录片材上热定影的定影部，使用图像读取部610生成的图像数据、或经由LAN113或因特网103接收到的图像数据来执行图像形成处理。供纸部630收容有记录片材，与图像形成部620形成调色剂像的处理并行地供给记录片材。热定影有调色剂像的记录片材被排出到多功能外设112的体内空间中设置的排纸托盘621。
图像形成部620具备操作面板600，针对多功能外设112的用户提示信息，或者从用户受理指示输入。另外，图像形成部620具备未图示的控制部622，控制部622控制多功能外设112的动作。
如图7所示，控制部622具备CPU700、ROM701、RAM702等，CPU700在复位后从ROM701读出引导程序而起动，将RAM702作为作业用存储区域，从HDD703读出OS等程序并执行。NIC704执行用于经由因特网103而与语音AI服务器102、多功能外设112相互连接的通信处理。
通过具备这样的结构，控制部622控制图像读取部610、图像形成部620以及供纸部630的动作。特别是，操作面板600具备液晶显示器(Liquid Crystal Display)601、触摸板602、硬键603以及面板控制部604，液晶显示器601和触摸板602构成触摸面板。面板控制部604进行触摸板603、硬键603的操作的探测以及液晶显示器601中的显示的控制。
另外，硬键603由多个键构成，其中包括开始键。多功能外设112的用户通过按下开始键，能够指示作业的执行开始。
在多功能外设112中，在完成作业的执行之后没有接下来应执行的作业的情况下，从作业执行模式转移到待机模式。而且，在转移到待机模式之后，在以未受理接下来应执行的作业的状态而经过了预定的时间的情况下，转移到第1阶段的休眠模式。在第1阶段的休眠模式中，例如通过使定影装置的温度调整停止，从而使功耗量降低，并且使液晶显示器601的背光源熄灭。
在多功能外设112中，在转移到第1阶段的休眠模式之后，在以未受理接下来应执行的作业的状态而进一步经过了预定的时间的情况下，转移到第2阶段的休眠模式。第2阶段的休眠模式是使功耗量比第1阶段的休眠模式进一步降低的休眠模式，例如用于对操作面板600进行控制的面板控制部604也成为省电状态。
因此，多功能外设112在从第1阶段的休眠模式恢复至能够使用操作面板600的状态时不怎么花费时间(例如5秒)，但在从第2阶段的休眠模式恢复至能够使用操作面板600的状态时花费时间(例如1分钟)。
多功能外设112如果在处于第1阶段的休眠模式以及第2阶段的休眠模式的状态下从MFP控制服务器101受理了请显示作业的设定内容这样的指令，则从休眠模式恢复到待机模式。因此，不论多功能外设112处于第1阶段的休眠模式以及第2阶段的休眠模式中的哪一个状态，MFP控制服务器101都能够针对多功能外设112发送请显示作业的设定内容这样的指令而使其执行该显示。
关于请显示作业的设定内容这样的指令以外的指令也同样地，多功能外设112不论处于第1阶段的休眠模式以及第2阶段的休眠模式中的哪个状态，都能够从MFP控制服务器101受理指令而执行与该指令对应的处理。
[6]图像形成系统1的动作
接下来，以MFP控制服务器101的动作为中心，说明图像形成系统1的动作。
(6-1)主流程
如图8所示，MFP控制服务器101如果从语音AI服务器102接收到语音指示的文本数据(S801：“是”)，则判别该指示是否为作业的设定指示(S802)。在是作业的设定指示的情况下(S802：“是”)，向MFP控制服务器101内记录该作业设定(S811)。具体而言，在MFP控制服务器101中，关于该作业(复印作业、扫描作业等)，预先在该作业的各个设定项目中存储有默认的设定值，将该存储的设定值变换为被指示的设定值。之后，同样地在接收到设定指示时，每次依照指示来变更设定项目的设定值。
在步骤S802中，在判断为不是作业的设定指示的情况下(S802：“否”)，判断是否为作业的执行指示(S803)。在判断为是作业的执行指示的情况下(S803：“是”)，在执行该作业之前，执行作业的设定内容的确认处理(S804)。该处理是对用户提示作业的设定内容并确认该设定内容是否可以的处理，具体的处理内容后述。
另一方面，在步骤S803中，在判断为不是作业的执行指示的情况下(S803：“否”)，根据用户指示来执行作业执行以外的处理(S822)。作业执行以外的处理例如是针对调色剂剩余量的询问而回答剩余量等的处理。
在执行作业的设定内容的确认处理(S804)之后，经由智能扬声器111，用户进行按照该设定内容而没有问题的意思的回答，在从语音AI服务器102接收到该意思的文本数据时(S805：OK)，向多功能外设112发送指示执行该作业的指令(S806)。在经由智能扬声器111而由用户回答设定内容有问题的情况下，将其意思的文本数据从语音AI服务器102发送到MFP控制服务器101。在该情况下(S805：NG)返回到步骤S801，再次依照用户指示来执行作业设定等处理。
(6-2)设定内容确认处理(S804)
图9是示出步骤S804的设定内容确认处理的具体的处理内容的流程图。MFP控制服务器101首先参照多功能外设112的操作面板600的动作状态(S901)。即，参照是能够将设定内容显示于液晶显示器601的状态、休眠状态以及他人使用的状态(以下称为“面板操作中”)中的哪个状态。关于休眠状态，如上所述按照在第1阶段的休眠模式下成为使液晶显示器601的背光源熄灭的状态、进而在第2阶段的休眠模式下成为使控制部622以外(包括面板控制部604)的电源关闭的状态这样的顺序加深，直至操作面板600成为可显示为止的时间变长。
MFP控制服务器101始终对操作面板600的动作状态进行监视。例如，多功能外设112每当变更动作状态时向MFP控制服务器101通知动作状态，MFP控制服务器101如果接收到该通知，则将操作面板600的动作状态记录到动作状态表格。在步骤S901中，参照该动作状态表格。
在操作面板600的动作状态是休眠状态的情况下(S902：“是”)，执行启动中处理(S911)，如果启动中处理完成，则恢复到主流程。
在操作面板600的动作状态不是休眠状态(S902：“否”)而是面板操作中的情况下(S903：“是”)，执行面板操作中处理(S912)。如果完成面板操作中处理，则恢复到主流程。
在操作面板600的动作状态不是面板操作中的情况下(S903：“否”)，向多功能外设112发送作业设定内容(S904)，发送对作业设定内容进行显示的意思的指令(S905)。多功能外设112依照该指令，将接收到的作业设定内容显示于液晶显示器601。
在本实施例中，能够通过语音来设定的设定项目被限定于多功能外设的全部功能中的使用频度高的主要的设定项目(以下还称为“主要设定项目”)，在步骤S904中发送的作业设定内容、显示于液晶显示器601的作业设定内容是其主要的所有设定项目的设定内容。此外，也可以仅显示从默认的设定值进行了变更的设定项目的设定内容。
在步骤S906中，将催促用户确认显示于操作面板600的设定内容的应答文本#0，发送到语音AI服务器102。该应答文本#0是例如“显示于操作面板的设定内容可以吗”等的成为“可以”或者“不可以”的回答那样的提问形式的文本。
(6-3)启动中处理(S911)
在启动中处理(S911)中，如图10所示，首先向多功能外设112发送作业设定内容(S1001)，发送对作业设定内容进行显示的意思的指令(S1002)。多功能外设112如果接收到该指令，则开始从休眠模式的恢复处理。
接下来，判定操作面板600的休眠模式是第1阶段的休眠模式还是第2阶段的休眠模式，在是第2阶段的休眠模式的情况下(S1003：“否”)，根据操作面板600的休眠状态的深度，推测启动时间T0(S1004)。如上所述，在休眠状态中，具有直至操作面板600能够显示作业的设定内容为止的时间不同的第1阶段的休眠模式和第2阶段的休眠模式，所以MFP控制服务器101例如通过参照针对休眠状态的每个深度存储有启动时间T0的表格，推测启动时间T0。启动时间T0根据多功能外设的机种也不同，所以在表格中针对多功能外设的每个机种存储启动时间T0，在步骤S1004中，参照与多功能外设112的机种对应的启动时间T0。
接下来，生成应答文本#1(S1005)。应答文本#1是对以显示于多功能外设112的液晶显示器601的方式指示的主要设定内容进行了列举的文本。例如，在针对复印功能的上述主要设定项目是份数设定、彩色设定、原稿的单面/双面设定、印刷时的单面/双面设定、页面汇集设定、装订设定的情况下，参照这些设定内容(默认设定或者由用户变更的设定)，生成“按照份数1、全彩色、单面读入、双面印刷、2合1、1点装订来复印可以吗。”这样的文本。在此，也设为如成为“可以”或者“不可以”的回答那样的提问形式的文本。
如果生成应答文本#1，则推测用于对该应答文本#1进行语音输出所需的时间T1(S1006)。例如，也可以通过对包含于应答文本#1的音节的数量Ns乘以恰当的系数，推测语音输出时间T1。
比较该应答文本#1的语音输出时间T1和操作面板600的启动时间T0，在语音输出时间T1比启动时间T0短的情况下(S1007：“是”)，将应答文本#1发送到语音AI服务器102(S1023)。如果接收到应答文本#1，则语音AI服务器102通过语音处理部405从应答文本#1语音合成应答语音数据，将该应答语音数据发送到智能扬声器111。智能扬声器111语音输出应答语音数据。
由此，相比于在直至操作面板600从休眠状态恢复为止的期间对用户未提供任何信息而在操作面板600启动之后通过参照操作面板600的显示来确认是否成为用户期望的设定的情况，由于能够在直至操作面板600从休眠状态恢复为止的期间通过语音来得知是否成为用户期望的设定，所以能够在短时间内高效地确认设定内容。并且，如果成为用户期望的设定，则能够立即开始执行作业。
另外，在未成为用户期望的设定的情况下，用户也能够在操作面板600启动之前预先得知其意思，所以能够在该启动后迅速地修正设定内容而执行作业。在这样的意义下，能够抑制对于用户而言发生无用的等待时间的情况，促进顺利地利用多功能外设112。
比较应答文本#1的语音输出时间T1和操作面板600的启动时间T0，在语音输出时间T1是启动时间T0以上的情况下(S1007：“否”)，生成应答文本#2(S1008)。应答文本#2是比应答文本#1短的文本，例如是仅列举根据用户的指示从默认的设定值进行了变更的设定内容的文本。另外，也可以包括根据用户的指示从默认的设定值进行了变更的设定内容以及其以外的设定项目的一部分。
如果生成应答文本#2，则推测用于对该应答文本#2进行语音输出所需的时间T2(S1009)。即使在该情况下，如果对包含于应答文本#2的音节的数量Ns乘以恰当的系数，则也能够推测语音输出时间T2。
比较该语音输出时间T2和启动时间T0，在语音输出时间T2比启动时间T0短的情况下(S1010：“是”)，计算从启动时间T0减去语音输出时间T2得到的差分时间△T(S1011)，生成与该差分时间△T相等的语音输出时间的附加文本(S1012)。在该情况下，例如生成与通过将差分时间△T除以恰当的系数而计算的音节数Ns相等的长度的附加文本即可。
作为附加文本，例如也可以生成“今天从傍晚起似乎有雨。有伞吗？那么，”这样的文本。关于这样的文本，也可以从预先准备的文本中选择恰当的音节数Ns的文本。如果先于应答文本#2而语音输出附加文本，则不会使用户的注意力离开智能扬声器111的输出语音，而能够以依旧维持将用户的注意力吸引到智能扬声器111的状态的方式，在多功能外设112即将启动之前语音输出应答文本#2。因此，能够防止在多功能外设启动后用户遗忘应答文本#2的内容，所以能够促进顺利地利用多功能外设112。
将生成的附加文本与应答文本#2一起发送到语音AI服务器102(S1013)。如果接收到这些文本，则语音AI服务器102通过语音处理部405对应答语音数据进行语音合成，将该应答语音数据发送到智能扬声器111。智能扬声器111对应答语音数据进行语音输出。
由此，能够利用直至多功能外设112启动为止的时间，判断用户的语音指示是否被正确地语音识别，所以在判断为未被正确地语音识别的情况下，通过在操作面板600启动后操作操作面板600，能够迅速地改正设定错误。
比较应答文本#2的语音输出时间T2和操作面板600的启动时间T0，在语音输出时间T2是启动时间T0以上的情况下(S1010：“否”)，启动时间T0短，所以在操作面板600启动后使用户确认显示的设定内容也没有问题。与后述的第1阶段的休眠模式的情况(S1003：“是”)同样地，生成与启动时间T0相符的附加文本并发送到语音AI服务器102(S1024)，恢复到主流程。
在多功能外设112的休眠状态是第1阶段的休眠模式的情况下(S1003：“是”)，从第1阶段的休眠模式，与步骤S1012同样地生成与启动时间T0(在本实施方式中为5秒)相等的语音输出时间的附加文本(S1021)，仅将生成的附加文本发送到语音AI服务器102(S1022)。语音AI服务器102在接收到附加文本时，通过语音处理部405对应答语音数据进行语音合成，将该应答语音数据发送到智能扬声器111并进行语音输出。
在第1阶段的休眠模式中，启动时间T0短，因此用户的等待时间短，所以在操作面板600启动后使用户确认显示的设定内容也没有问题，因此不进行作业的设定内容的宣读。另外，如果宣读附加文本，则用户易于得知图像形成系统1正常地动作。此外，附加文本的长度也可以是0。即，也可以根据需要而中止语音输出。关于应答文本#1、#2也是同样的。
(6-4)面板操作中处理(S912)
在面板操作中处理(S912)中，如图11所示，首先生成应答文本#1(S1101)。应答文本#1是与启动中处理(S911)同样地对以显示于多功能外设112的液晶显示器601的方式指示的主要设定内容进行了列举的文本。如果生成应答文本#1，则将该应答文本#1发送到语音AI服务器102(S1102)。如果接收到应答文本#1，则语音AI服务器102通过语音处理部405从应答文本#1语音合成应答语音数据，并将该应答语音数据发送到智能扬声器111。智能扬声器111对应答语音数据进行语音输出。
之后，MFP控制服务器101监视操作面板600的动作状态，如果由其他用户实施的操作面板600的操作结束(S1103：“是”)，则指示语音AI服务器102停止利用智能扬声器111实施的语音输出(S1104)，并且将通知由其他用户实施的操作面板600的操作已结束的意思的结束通知文本，发送到语音AI服务器102(S1005)。另外，对多功能外设112通知作业设定内容(S1106)，发送显示作业设定内容的意思的指令(S1107)。多功能外设112依照该指令，将接收到的作业设定内容显示于液晶显示器601。
此外，能够根据操作面板600的开始键是否被按下、是否从最后进行使用操作面板600的输入操作起经过预定的时间、该其他用户是否从多功能外设112注销等，判定由其他用户实施的操作面板600的操作是否结束。
另外，结束通知文本例如是“MFP空闲，所以将设定内容显示于操作面板。显示于操作面板的设定内容可以吗。”这样的文本。而且，如果有用于执行作业所需的操作，则也可以附加催促该操作的文本。例如是“请放置原稿。”这样的文本。
在接收到上述的指示以及结束通知文本时，语音AI服务器102指示智能扬声器111立即停止语音输出，并且根据结束通知文本生成结束通知的语音数据，发送到智能扬声器111并进行语音输出。另外，多功能外设112在操作面板600中显示作业的设定内容。
在由其他用户实施的操作面板600的操作结束之前(S1103：“否”)，如果应答文本#1的语音输出完成(S1111：“是”)，则从语音AI服务器102向MFP控制服务器101发送通知，MFP控制服务器101结束面板操作中处理，恢复到设定内容确认处理。其结果，如上所述恢复到主流程。
由此，相比于在直至由其他用户实施的面板操作结束为止的期间在对用户未提供任何信息的状态下在该面板操作结束后通过参照操作面板600的显示来确认是否成为用户期望的设定、并按下操作面板600的开始键的情况，由于能够在该其他用户进行面板操作的期间通过语音来得知是否成为用户期望的设定，所以如果成为用户期望的设定，则在其他用户结束面板操作时，能够立即按下开始键，开始执行作业。
另外，在未成为用户期望的设定的情况下，用户也能够在由其他用户实施的面板操作结束之前预先得知其意思，所以能够在该结束后迅速地修正设定内容，执行作业。在这样的意义下，能够抑制对于用户而言发生无用的等待时间，促进顺利地利用多功能外设112。
[7]变形例
以上，根据实施方式说明了本发明，但本发明显然不限定于上述实施方式，能够实施以下那样的变形例。
(7-1)在上述实施方式中，以在由其他用户实施的面板操作结束时(S1103：“是”)停止应答文本#1的情况(S1104)为例进行了说明，但本发明显然不限定于此，也可以在直至最后为止语音输出应答文本#1之后，发送结束通知文本(S1105)。
另外，在直至最后为止语音输出应答文本#1的情况下，判断为用户已掌握设定内容，所以也可以不在多功能外设112的操作面板600中显示设定内容。另外，即便是直至最后为止语音输出应答文本#1的情况，为了以防万一，也可以在多功能外设112的操作面板600中显示设定内容。
(7-2)在上述实施方式中，以在由其他用户实施的面板操作结束时(S1103：“是”)多功能外设112将作业的设定内容显示于操作面板600的情况(S1106、S1107)为例进行了说明，但本发明显然不限定于此，也可以取而代之而设为如下那样。即，也可以在应答文本#1中的语音输出的部分相对应答文本#1整体为预定的比值以上的情况、或应答文本#1的未语音输出的部分仅为默认设定的情况下，判断为用户已充分确认作业的设定内容，不在多功能外设112的操作面板600中显示设定内容。
另一方面，也可以在应答文本#1中的语音输出的部分相对应答文本#1整体而小于预定的比值的情况、或在应答文本#1的未语音输出的部分中包括默认设定以外的设定的情况下，判断为用户未充分确认作业的设定内容，在多功能外设112的操作面板600中显示设定内容。
(7-3)在上述实施方式中，以在由其他用户实施的面板操作结束时(S1103：“是”)多功能外设112将作业的设定内容显示于操作面板600的情况(S1106、S1107)为例进行了说明，但本发明显然不限定于此，也可以取而代之而设为如下那样。即，也可以与对结束通知文本进行语音输出的处理匹配地，向用户询问是否在多功能外设112的操作面板600中显示设定内容，根据用户的应答而对设定内容的显示的有无进行切换。
(7-4)在上述实施方式中，设定内容的确认的结果，构成为在用户进行了没有问题的意思的回答的情况下开始执行作业，但也可以通过由用户按下设置于多功能外设112的操作面板600的开始键而开始执行作业。
(7-5)在上述实施方式中，以判断由其他用户实施的面板操作是否结束的情况(S1103)为例进行了说明，但本发明显然不限定于此，取而代之，也可以判断纸张耗尽、调色剂耗尽、门开这样的错误状态是否被消除，还可以在错误状态被消除之后停止应答文本#1的语音输出，在多功能外设112的操作面板600中显示设定内容，等待由用户指示作业执行而开始作业的执行。
即便这样，相比于在错误状态被消除之后通过多功能外设112的操作面板600而使用户确认作业的设定内容的情况，由于从错误状态被消除之前开始就对作业的设定内容进行语音输出而使用户听见，所以能够快速地开始执行作业。
(7-6)在上述实施方式中，以使用智能扬声器111进行语音输入输出的情况为例进行了说明，但本发明显然不限定于此，也可以代替智能扬声器111，使用智能手机等智能扬声器111以外的设备进行语音输入输出。另外，在使用智能手机等智能扬声器111以外的设备的情况下，也可以使该设备兼具智能扬声器111以及语音AI服务器102这两方的功能。
(7-7)在上述实施方式中，以MFP控制服务器101以及语音AI服务器102是云服务器的情况为例进行了说明，但本发明显然不限定于此，也可以是其他服务器装置。例如，也可以将与LAN113连接的服务器装置、与多功能外设112一体化的服务器装置用作MFP控制服务器101、语音AI服务器102。
(7-8)在上述实施方式中，以应答文本#1是对以显示于多功能外设112的液晶显示器601的方式指示的主要设定内容进行了列举的文本、且应答文本#2是仅列举用户通过语音指示从默认的设定值进行了变更的设定内容的文本的情况为例进行了说明，但本发明显然不限定于此，如果应答文本#1的语音输出所需的时间比应答文本#2更长，则应答文本#1、#2也可以是与上述实施方式不同的内容的文本。
此外，主要设定内容例如也可以是用于在多功能外设112的操作面板600中进行该作业的设定的最上位的设定画面中显示的设定项目的默认设定。例如，在复印作业的情况下是“浓度”、“背景调整”、“纸张”、“倍率”、“原稿>输出”、“页面汇集”的设定项目。
此外，包含于应答文本#1的设定内容既可以仅为用户进行了语音指示的设定内容，也可以仅为默认设定。另外，在默认设定中，既可以包括与在最上位的设定画面以外的设定画面中显示的设定项目有关的设定内容，也可以相反地并未收罗有在最上位的设定画面中显示的所有设定项目。
关于应答文本#2也同样地，既可以仅为默认设定，也可以是用户进行了语音指示的设定内容和默认设定混合存在。
不论应答文本#1、#2的内容如何，只要应答文本#1的语音输出时间比应答文本#2的语音输出时间长，就能够得到本发明的效果。
(7-9)在上述实施方式中，以在其他用户进行面板操作的情况下对应答文本#1进行语音输出的情况为例进行了说明，但本发明显然不限定于此，也可以除了应答文本#1以外还对附加文本进行语音输出。例如，在即使应答文本#1的语音输出结束但由其他用户实施的面板操作仍未结束的情况下，也可以如“现在其他用户正在操作图像形成装置，所以请稍等。借用这个时间来介绍本公司的新服务。。。”等那样对附加文本进行语音输出。
(7-10)在上述实施方式中，以对彩色多功能外设112进行语音指示的情况为例进行了说明，但本发明显然不限定于此，也可以取而代之而对单色多功能外设进行语音指示。另外，即使在打印机装置、具备扫描仪的复印装置、以及具备传真通信功能的传真装置这样的单功能机中应用本发明，也能够得到同样的效果。
(7-11)在上述实施方式中，在MFP服务器101中构成为预先针对作业(复印作业、扫描作业等)在作业的各个设定项目中存储默认的设定值，并将该存储的设定值变更为被语音指示的设定值，在受理了作业执行的指示之后将这些设定内容汇总起来发送到多功能外设112，但也可以由MFP控制服务器101将被语音指示的设定每次都发送到多功能外设112，在多功能外设112内反映到作业的设定。
(7-12)在上述实施方式中，智能扬声器111、MFP控制服务器101、语音AI服务器102由与多功能外设112独立的装置构成，但也可以构成为将全部或者一部分内置于多功能外设112。
另外，在多功能外设112中设置语音输入输出接口的情况下，也可以从操作面板600中省去触摸板602、硬键603这样的受理手动输入的装置而仅设为液晶显示器601。另外，在该情况下，也可以设置用于输入输出语音的麦克风以及扬声器。
(7-13)在上述实施方式中，以将与使多功能外设112执行的处理有关的设定内容显示于操作面板600的液晶显示器601的情况为例进行了说明，但本发明显然不限定于此，也可以与操作面板600独立地设置显示装置来显示设定内容。例如，也可以将经由通信网络而与多功能外设112连接的PC(Personal Computer，个人电脑)、便携终端装置作为显示装置，显示与由智能扬声器111受理的语音指示相关的设定内容。在该例子中，如果与显示装置的动作状态匹配地决定应语音输出的内容，则能够得到同样的效果。
(7-14)如上所述，图像形成系统1以及MFP控制服务器101是具备微型处理器和存储器的计算机系统。也可以设为存储器存储有计算机程序，微型处理器依照计算机程序进行动作。
在此，计算机程序是为了实现预定的功能而将多个表示针对计算机的指令的命令代码进行组合来构成的。
另外，计算机程序也可以记录于计算机可读取的记录介质、例如软盘、硬盘、光盘、半导体存储器等。
另外，也可以经由以有线或者无线的电气通信线路、因特网为代表的网络、数据广播等来传送计算机程序。
(7-15)也可以分别组合上述实施方式以及上述变形例。
[产业上的可利用性]
本发明所涉及的控制装置、图像形成系统以及程序适用于抑制对图像形成装置进行语音指示时的用户的等待时间的延长的技术。

Claims (27)

1.一种控制装置，根据通过语音来指示的处理内容，使图像形成装置执行处理，所述控制装置的特征在于，具备：
显示控制单元，在执行所述处理之前，使所述处理内容显示于所述图像形成装置的显示装置；
动作状态取得单元，取得所述显示装置的动作状态；以及
决定单元，根据所取得的所述显示装置的动作状态，决定为了催促确认所述处理内容而应输出的语音的内容。
2.根据权利要求1所述的控制装置，其特征在于，
所述动作状态包括是否是所述显示装置的至少一部分电源为关闭的休眠模式的动作状态。
3.根据权利要求2所述的控制装置，其特征在于，
在所述休眠模式中具有：直至能够使所述处理内容显示于所述显示装置为止的时间是第1预定时间的第1阶段的休眠模式、以及直至能够进行该显示为止的时间是比所述第1预定时间长的第2预定时间的第2阶段的休眠模式，
所述动作状态取得单元取得表示所述休眠模式是所述第1阶段和所述第2阶段中的哪一个的动作状态，
所述决定单元根据由所述动作状态取得单元取得的表示所述休眠模式是所述第1阶段和所述第2阶段中的哪一个的动作状态，决定应输出的语音的内容。
4.根据权利要求1所述的控制装置，其特征在于，
具备推测单元，该推测单元根据由所述动作状态取得单元取得的动作状态，推测直至能够由所述显示装置显示为止的启动时间，
所述决定单元根据所述启动时间，决定所述语音内容。
5.根据权利要求4所述的控制装置，其特征在于，
在所述决定单元中，
在所述启动时间比用于对预定的项目进行语音输出所需的输出时间长的情况下，以包括所有该预定的项目的方式决定所述语音内容，
在所述启动时间比所述输出时间短的情况下，以由所述预定的项目之中的除了至少一部分项目以外的项目构成的方式决定所述语音内容。
6.根据权利要求4或者5所述的控制装置，其特征在于，
具备语音追加单元，该语音追加单元根据从所述启动时间减去用于对所述决定单元决定的所述语音内容进行语音输出所需的输出时间而得到的剩余时间，决定所述语音内容以外的追加内容。
7.根据权利要求1所述的控制装置，其特征在于，具备：
使用状态判定单元，判定对所述处理内容进行了语音输入的用户以外的用户是否正在使用所述显示装置；以及
语音输出控制单元，在所述决定单元决定所述语音内容之后，在所述使用状态判定单元的判定结果成为否定之前对该语音内容进行语音输出，如果所述使用状态判定单元的判定结果成为否定，则使该语音输出停止。
8.根据权利要求7所述的控制装置，其特征在于，
所述决定单元决定的语音内容被划分为多个部分，
所述语音输出控制单元在所述使用状态判定单元的判定结果成为否定时，在正在输出的部分的语音输出完成的时间点，使所述语音输出停止。
9.根据权利要求7所述的控制装置，其特征在于，
所述语音输出控制单元在所述使用状态判定单元的判定结果成为否定时，在所述决定单元决定的语音内容之中的未输出部分的输出时间比预定时间短的情况下，不使所述语音输出停止。
10.根据权利要求7至9中的任意一项所述的控制装置，其特征在于，
具备禁止单元，在所述语音输出控制单元不使所述语音输出停止的情况下，所述禁止单元禁止在所述显示装置中显示所述处理内容。
11.根据权利要求7至9中的任意一项所述的控制装置，其特征在于，
具备确认单元，在所述语音输出控制单元不使所述语音输出停止的情况下，所述确认单元向进行了所述语音输入的用户确认是否使所述显示装置显示所述处理内容，
在所述确认结果是肯定的情况下，显示所述处理内容。
12.根据权利要求11所述的控制装置，其特征在于，
具备处理开始单元，该处理开始单元在所述确认结果是否定的情况下，不等待进行了所述语音输入的用户指示所述处理的开始，而使所述图像形成装置开始该处理。
13.根据权利要求7至12中的任意一项所述的控制装置，其特征在于，
具备显示通知单元，在所述停止后在所述显示装置中显示所述处理内容的情况下，所述显示通知单元语音输出其意思。
14.一种图像形成系统，其特征在于，具备：
图像形成装置；以及
权利要求1至13中的任意一项所述的控制装置。
15.一种储存有程序的计算机可读取的记录介质，所述程序使计算机执行根据通过语音来指示的处理内容而使图像形成装置执行处理的控制，所述记录介质的特征在于，
所述程序使计算机执行：
显示控制步骤，在执行所述处理之前，使所述处理内容显示于所述图像形成装置的显示装置；
动作状态取得步骤，取得所述显示装置的动作状态；以及
决定步骤，根据所取得的所述显示装置的动作状态，决定为了催促确认所述处理内容而应输出的语音的内容。
16.根据权利要求15所述的记录介质，其特征在于，
所述动作状态包括是否是所述显示装置的至少一部分电源为关闭的休眠模式的动作状态。
17.根据权利要求16所述的记录介质，其特征在于，
在所述休眠模式中具有：直至能够使所述处理内容显示于所述显示装置为止的时间是第1预定时间的第1阶段的休眠模式、以及直至能够进行该显示为止的时间是比所述第1预定时间长的第2预定时间的第2阶段的休眠模式，
在所述动作状态取得步骤中，取得表示所述休眠模式是所述第1阶段和所述第2阶段中的哪一个的动作状态，
在所述决定步骤中，根据在所述动作状态取得步骤中取得的表示所述休眠模式是所述第1阶段和所述第2阶段中的哪一个的动作状态，决定应输出的语音的内容。
18.根据权利要求15所述的记录介质，其特征在于，
具备推测步骤，在该推测步骤中，根据在所述动作状态取得步骤中取得的动作状态，推测直至能够由所述显示装置显示为止的启动时间，
在所述决定步骤中，根据所述启动时间，决定所述语音内容。
19.根据权利要求18所述的记录介质，其特征在于，
在所述决定步骤中，
在所述启动时间比用于对预定的项目进行语音输出所需的输出时间长的情况下，以包括所有该预定的项目的方式决定所述语音内容，
在所述启动时间比所述输出时间短的情况下，以由所述预定的项目之中的除了至少一部分项目以外的项目构成的方式决定所述语音内容。
20.根据权利要求18或者19所述的记录介质，其特征在于，
具备语音追加步骤，在该语音追加步骤中，根据从所述启动时间减去用于对在所述决定步骤中决定的所述语音内容进行语音输出所需的输出时间而得到的剩余时间，决定所述语音内容以外的追加内容。
21.根据权利要求15所述的记录介质，其特征在于，
所述程序使计算机还执行：
使用状态判定步骤，判定对所述处理内容进行了语音输入的用户以外的用户是否正在使用所述显示装置；以及
语音输出控制步骤，在所述决定步骤中决定所述语音内容之后，在所述使用状态判定步骤的判定结果成为否定之前对该语音内容进行语音输出，如果所述使用状态判定步骤的判定结果成为否定，则使该语音输出停止。
22.根据权利要求21所述的记录介质，其特征在于，
在所述决定步骤中决定的语音内容被划分为多个部分，
在所述语音输出控制步骤中，在所述使用状态判定步骤的判定结果成为否定时，在正在输出的部分的语音输出完成的时间点，使所述语音输出停止。
23.根据权利要求21所述的记录介质，其特征在于，
在所述语音输出控制步骤中，在所述使用状态判定步骤的判定结果成为否定时，在所述决定步骤中决定的语音内容之中的未输出部分的输出时间比预定时间短的情况下，不使所述语音输出停止。
24.根据权利要求21至23中的任意一项所述的记录介质，其特征在于，
所述程序使计算机还执行：
禁止步骤，在所述语音输出控制步骤中不使所述语音输出停止的情况下，禁止在所述显示装置中显示所述处理内容。
25.根据权利要求21至23中的任意一项所述的记录介质，其特征在于，
所述程序使计算机还执行：
确认步骤，在所述语音输出控制步骤中不使所述语音输出停止的情况下，向进行了所述语音输入的用户确认是否使所述显示装置显示所述处理内容，
在所述显示控制步骤中，在所述确认结果是肯定的情况下，使所述处理内容显示。
26.根据权利要求25所述的记录介质，其特征在于，
所述程序使计算机还执行：
处理开始步骤，在所述确认结果是否定的情况下，不等待进行了所述语音输入的用户指示所述处理的开始，而使所述图像形成装置开始该处理。
27.根据权利要求21至26中的任意一项所述的记录介质，其特征在于，
所述程序使计算机还执行：
显示通知步骤，在所述停止后在所述显示装置中显示所述处理内容的情况下，语音输出其意思。
CN202010161879.3A 2019-03-15 2020-03-10 控制装置、图像形成系统以及记录介质 Active CN111698378B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-048837 2019-03-15
JP2019048837A JP7211181B2 (ja) 2019-03-15 2019-03-15 制御装置、画像形成システムおよびプログラム

Publications (2)

Publication Number Publication Date
CN111698378A true CN111698378A (zh) 2020-09-22
CN111698378B CN111698378B (zh) 2022-08-16

Family

ID=72424351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010161879.3A Active CN111698378B (zh) 2019-03-15 2020-03-10 控制装置、图像形成系统以及记录介质

Country Status (3)

Country Link
US (1) US11122172B2 (zh)
JP (1) JP7211181B2 (zh)
CN (1) CN111698378B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11735177B2 (en) * 2019-12-12 2023-08-22 Silicon Laboratories Inc. Keyword spotting using machine learning

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003152914A (ja) * 2001-11-08 2003-05-23 Canon Inc 画像形成装置
JP2004310515A (ja) * 2003-04-08 2004-11-04 Sharp Corp 電子機器の取扱いガイダンス装置
JP2006333365A (ja) * 2005-05-30 2006-12-07 Ricoh Co Ltd 情報処理装置およびプログラム
JP2008003153A (ja) * 2006-06-20 2008-01-10 Kyocera Mita Corp 画像形成装置の使用状況管理システム及び画像形成装置
CN101246387A (zh) * 2008-02-29 2008-08-20 江苏科技大学 一种计算机atx电源的控制装置及其控制方法
JP2010224890A (ja) * 2009-03-24 2010-10-07 Konica Minolta Business Technologies Inc 操作画面制御装置、画像形成装置、およびコンピュータプログラム
JP2015102667A (ja) * 2013-11-25 2015-06-04 シャープ株式会社 電子機器
US20160192022A1 (en) * 2013-09-12 2016-06-30 Kabushiki Kaisha Toshiba Electronic device, method, and storage medium
CN105847627A (zh) * 2016-03-30 2016-08-10 北京小米移动软件有限公司 一种显示图像数据的方法和装置
CN106020763A (zh) * 2015-03-26 2016-10-12 三星电子株式会社 用于提供内容的方法和电子设备
JP2017098909A (ja) * 2015-11-27 2017-06-01 京セラドキュメントソリューションズ株式会社 画像処理装置、アプリケーションプログラムの実行方法
EP3404655A1 (en) * 2017-05-19 2018-11-21 LG Electronics Inc. Home appliance and method for operating the same

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3222686B2 (ja) * 1994-04-14 2001-10-29 キヤノン株式会社 印刷装置および印刷装置の制御方法
JPH08149239A (ja) * 1994-11-16 1996-06-07 Canon Inc 報知装置および方法
JP2006085351A (ja) * 2004-09-15 2006-03-30 Fuji Xerox Co Ltd 画像処理装置およびその制御方法および制御プログラム
JP2006095984A (ja) * 2004-09-30 2006-04-13 Canon Inc プリンタ制御装置およびプリンタ制御方法
JP2007021808A (ja) 2005-07-13 2007-02-01 Canon Inc 画像形成装置
JP2011066500A (ja) * 2009-09-15 2011-03-31 Ricoh Co Ltd 画像形成装置，画像処理装置，画像形成装置における制御方法，プログラム，および記録媒体
JP5477773B2 (ja) * 2010-03-15 2014-04-23 株式会社リコー 画像形成装置
JP5831251B2 (ja) * 2012-01-25 2015-12-09 コニカミノルタ株式会社 画像形成システム、画像形成装置、端末装置、画像形成装置の制御プログラム、および端末装置の制御プログラム
JP2015041123A (ja) 2013-08-20 2015-03-02 株式会社リコー 画像形成装置
JP2015118622A (ja) * 2013-12-19 2015-06-25 キヤノン株式会社 画像出力装置の安定状態を予測するシステム、システムの制御方法及びプログラム
CN108656558A (zh) * 2017-03-29 2018-10-16 三纬国际立体列印科技股份有限公司 运用于3d打印机的语音控制系统及语音控制方法
US10819870B2 (en) * 2017-12-27 2020-10-27 Brother Kogyo Kabushiki Kaisha Image processing apparatus, apparatus, method of switching mode of the image processing apparatus, and non-transitory storage medium storing program executable by computer of the image processing apparatus
JP7147614B2 (ja) * 2019-02-14 2022-10-05 株式会社リコー 画像形成装置、画像形成方法およびプログラム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003152914A (ja) * 2001-11-08 2003-05-23 Canon Inc 画像形成装置
JP2004310515A (ja) * 2003-04-08 2004-11-04 Sharp Corp 電子機器の取扱いガイダンス装置
JP2006333365A (ja) * 2005-05-30 2006-12-07 Ricoh Co Ltd 情報処理装置およびプログラム
JP2008003153A (ja) * 2006-06-20 2008-01-10 Kyocera Mita Corp 画像形成装置の使用状況管理システム及び画像形成装置
CN101246387A (zh) * 2008-02-29 2008-08-20 江苏科技大学 一种计算机atx电源的控制装置及其控制方法
JP2010224890A (ja) * 2009-03-24 2010-10-07 Konica Minolta Business Technologies Inc 操作画面制御装置、画像形成装置、およびコンピュータプログラム
US20160192022A1 (en) * 2013-09-12 2016-06-30 Kabushiki Kaisha Toshiba Electronic device, method, and storage medium
JP2015102667A (ja) * 2013-11-25 2015-06-04 シャープ株式会社 電子機器
CN106020763A (zh) * 2015-03-26 2016-10-12 三星电子株式会社 用于提供内容的方法和电子设备
JP2017098909A (ja) * 2015-11-27 2017-06-01 京セラドキュメントソリューションズ株式会社 画像処理装置、アプリケーションプログラムの実行方法
CN105847627A (zh) * 2016-03-30 2016-08-10 北京小米移动软件有限公司 一种显示图像数据的方法和装置
EP3404655A1 (en) * 2017-05-19 2018-11-21 LG Electronics Inc. Home appliance and method for operating the same

Also Published As

Publication number Publication date
US11122172B2 (en) 2021-09-14
US20200296236A1 (en) 2020-09-17
JP2020149602A (ja) 2020-09-17
JP7211181B2 (ja) 2023-01-24
CN111698378B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN101945197B (zh) 电气装置、图像形成设备和电气装置中控制供电的方法
US11770490B2 (en) Image forming apparatus, control method therefor, and program
JP5216540B2 (ja) 画像形成装置
US8621388B2 (en) Image forming apparatus for displaying information on screen
CN111698378B (zh) 控制装置、图像形成系统以及记录介质
US20090207441A1 (en) Job Processing Apparatus and Method for Controlling the Job Processing Apparatus
JP2020177131A (ja) 音声クラウドシステム、方法およびプログラム
JP7284455B2 (ja) 装置
US10606531B2 (en) Image processing device, and operation control method thereof
US8711394B2 (en) Image forming apparatus forming images in response to image formation request from operation unit or external device
JP7077170B2 (ja) 情報処理装置、その制御方法、及びプログラム
JP2005269203A (ja) マルチファンクションペリフェラル装置
EP1672478A2 (en) A printing apparatus
JP2010252035A (ja) 画像処理装置、画像処理方法、プログラム
JP2009297926A (ja) 画像形成装置および画像形成装置の制御方法
JP7361509B2 (ja) 周辺装置管理システム、印刷装置制御システム、制御方法、印刷制御装置及びプログラム
JP2011259180A (ja) 画像形成装置及び当該画像形成装置を制御する制御方法
CN115811576A (zh) 带交互代理功能的图像形成系统及其控制方法和存储介质
JP2006352914A (ja) 省エネ制御装置
JP4259283B2 (ja) 画像処理装置および画像処理システム
US8416465B2 (en) Reader, and computer readable medium and method therefor
US9270851B2 (en) Image forming apparatus method and storage medium storing program for controlling display when the image forming appratus returns to an active state from a power-saving state
JP2019038186A (ja) 画像形成装置、画像形成装置の制御方法、及びプログラム
JP2022112880A (ja) 情報処理装置及び画像処理装置とその制御方法並びにプログラム
JP2014235366A (ja) 画像形成装置およびその制御方法、並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant