CN111866296A - 信息处理系统以及计算机可读取的记录介质 - Google Patents

Abstract

本发明涉及信息处理系统以及计算机可读取的记录介质，即使在进行用户的声音操作时难以对用户利用声音进行反馈的情况下，也能够对用户准确地传递应反馈的信息。信息处理系统(1)具备：显示部(30)；声音操作受理部(51)，将用户的声音作为声音操作受理；画面更新部(54)，根据由声音操作受理部(51)受理的声音操作，更新使显示部(30)显示的画面；画面判定部(57)，判定是否使显示部(30)显示由画面更新部(54)更新后的画面；以及显示控制部(55)，在由画面判定部(57)，判定为使显示部(30)显示更新后的画面的情况下，使显示部(30)显示由画面更新部(54)更新后的画面。

Description

信息处理系统以及计算机可读取的记录介质

技术领域

本发明涉及信息处理系统以及计算机可读取的记录介质，特别涉及将反映了用户的声音操作的信息反馈给用户的技术。

背景技术

近年来，被称为AI扬声器等的声音输入装置显著地普及起来。这种声音输入装置能够以有线或者无线方式与网络连接，例如能够与如MFP(Multifunction Peripherals，多功能复合机)等那样执行印刷作业等各种作业的图像处理装置经由网络进行通信。因此，用户通过朝向声音输入装置发出声音，能够在与图像处理装置分离的场所进行针对图像处理装置的作业的设定操作等。另外，这种声音输入装置还能够进行声音输出。因此，图像处理装置能够经由声音输入装置对用户利用声音来反馈反映了用户的声音操作的信息。因此，用户通过与声音输入装置进行对话，能够一边确认针对各种设定项目的设定值一边进行设定操作。

但是，在根据用户的声音操作而图像处理装置进行作业的设定处理时，仅通过从声音输入装置输出声音，有时无法对用户反馈充分的信息。例如，在用户指示了图像的画质调整的情况下，无法利用声音对用户传递反映了该画质调整的图像。另外，在图像处理装置中登记有多个预约作业的状态下用户指示了预约作业的取消的情况下，图像处理装置为了确定成为取消对象的预约作业，经由声音输入装置，将登记于图像处理装置的多个预约作业的详细内容利用声音引导给用户。但是，在图像处理装置中登记有许多预约作业的情况下，从声音输入装置输出的声音变长，所以对于用户而言难以理解，无法指示应取消的预约作业。

另一方面，以往，作为如上所述利用声音对图像处理装置进行远程操作的技术，已知使用能够与图像处理装置进行通信的终端装置的技术(例如专利文献1)。在该现有技术中，将显示于图像处理装置的操作面板的画面的图像数据从图像处理装置发送到终端装置，终端装置抽出包含于该图像数据的文本。终端装置在检测到用户的声音时，将该声音变换为文本，与从图像数据抽出的文本进行对照。在从声音变换的文本与从图像数据抽出的文本一致的情况下，终端装置确定在画面内包含该文本的位置，将表示该位置的信息发送到图像处理装置，从而对图像处理装置进行远程操作。

然而，即使在该现有技术下，在根据用户的声音更新了显示于操作面板的画面的情况下，也无法将该更新后的画面的内容准确地反馈给用户。例如，在图像处理装置的操作面板上显示有进行基于用户的指示的画质调整被实施后的图像的预览显示的画面的情况下，即使在终端装置中进行了从基于该画面的图像数据抽出文本的处理，也无法对用户准确地反馈预览显示的图像的详细内容。

现有技术文献

专利文献

专利文献1：日本特开2015-166912号公报

发明内容

本发明是为了解决上述课题而完成的，其目的在于提供一种即使在进行用户的声音操作时难以对用户进行利用声音的反馈的情况下也能够对用户准确地传递应反馈的信息的信息处理系统以及计算机可读取的记录介质。

为了达成上述目的，技术方案1的发明是一种信息处理系统，构成为其特征在于，具备：显示单元；声音操作受理单元，将用户的声音作为声音操作受理；画面更新单元，根据由所述声音操作受理单元受理的声音操作，更新使所述显示单元显示的画面；画面判定单元，判定是否使所述显示单元显示由所述画面更新单元更新后的画面；以及显示控制单元，在由所述画面判定单元判定为使所述显示单元显示更新后的画面的情况下，使所述显示单元显示由所述画面更新单元更新后的画面。

技术方案2的发明在技术方案1的信息处理系统中构成为其特征在于，还具备引导单元，在由所述画面判定单元判定为使所述显示单元显示更新后的画面的情况下，该引导单元进行对用户提醒确认显示于所述显示单元的画面的声音引导。

技术方案3的发明在技术方案1或者2的信息处理系统中构成为其特征在于，所述画面判定单元根据由所述声音操作受理单元受理的声音操作，确定由所述画面更新单元更新的画面的显示内容，根据该显示内容，判定是否使所述显示单元显示由所述画面更新单元更新后的画面。

技术方案4的发明在技术方案1至3中的任意一个的信息处理系统中构成为其特征在于，在由所述画面更新单元更新的画面是进行图像的预览显示的画面的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

技术方案5的发明在技术方案1至3中的任意一个的信息处理系统中构成为其特征在于，还具备存储电子文件的文件存储单元，在由所述画面更新单元更新的画面是进行存储于所述文件存储单元的所述电子文件的缩略图显示的画面的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

技术方案6的发明在技术方案1至3中的任意一个的信息处理系统中构成为其特征在于，还具备进行图像的画质调整的图像处理单元，在由所述画面更新单元更新的画面是显示由所述图像处理单元进行画质调整后的图像的画面的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

技术方案7的发明在技术方案1至3中的任意一个的信息处理系统中构成为其特征在于，还具备：印刷单元，对片材进行印刷；以及后续处理单元，对由所述印刷单元印刷后的片材的指定的位置进行后续处理，在由所述画面更新单元更新的画面是对由所述后续处理单元进行后续处理的位置进行指定的画面的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

技术方案8的发明在技术方案1至3中的任意一个的信息处理系统中构成为其特征在于，还具备对片材进行印刷的印刷单元，在由所述画面更新单元更新的画面是用于进行在所述印刷单元进行印刷时重叠花纹或者水印的设定的画面的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

技术方案9的发明在技术方案1至3中的任意一个的信息处理系统中构成为其特征在于，在由所述画面更新单元更新的画面是对多个作业进行一览显示的作业列表画面的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

技术方案10的发明在技术方案1至3中的任意一个的信息处理系统中构成为其特征在于，在由所述画面更新单元更新的画面是对多个地址进行一览显示的地址选择画面的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

技术方案11的发明在技术方案1至3中的任意一个的信息处理系统中构成为其特征在于，还具备对预约作业进行登记并管理的作业管理单元，在多个预约作业被所述作业管理单元管理的状态下，在由所述画面更新单元更新的画面是从所述多个预约作业中选择成为取消对象的预约作业的画面的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

技术方案12的发明在技术方案1至3中的任意一个的信息处理系统中构成为其特征在于，还具备对预约作业进行登记并管理的作业管理单元，在多个预约作业被所述作业管理单元管理的状态下，在由所述画面更新单元更新的画面是从所述多个预约作业中选择成为设定变更对象的预约作业的画面的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

技术方案13的发明在技术方案1至3中的任意一个的信息处理系统中构成为其特征在于，在由所述画面更新单元更新的画面中包括预定数以上的字符或者字符串的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

技术方案14的发明在技术方案1至13中的任意一个的信息处理系统中构成为其特征在于，还具备用户状态判定单元，在由所述画面判定单元判定为使所述显示单元显示更新后的画面的情况下，该用户状态判定单元判定是否是发出作为声音操作受理的声音的用户能够对所述显示单元进行视觉辨认的状态，与由所述用户状态判定单元判定为是用户能够对所述显示单元进行视觉辨认的状态相伴地，所述显示控制单元使所述显示单元显示由所述画面更新单元更新后的画面。

技术方案15的发明在技术方案14的信息处理系统中构成为其特征在于，还具备在所述显示单元的附近配置的声音输入单元，所述用户状态判定单元根据由所述声音输入单元检测的声音，判定是否是用户能够对所述显示单元进行视觉辨认的状态。

技术方案16的发明在技术方案14或者15的信息处理系统中构成为其特征在于，还具备在所述显示单元的附近配置的人感传感器，所述用户状态判定单元根据来自所述人感传感器的输出信号，判定是否是用户能够对所述显示单元进行视觉辨认的状态。

技术方案17的发明在技术方案14至16中的任意一个的信息处理系统中构成为其特征在于，还具备在所述显示单元的附近配置的摄像单元，所述用户状态判定单元根据由所述摄像单元拍摄的图像，判定是否是用户能够对所述显示单元进行视觉辨认的状态。

技术方案18的发明在技术方案17的信息处理系统中构成为其特征在于，所述用户状态判定单元从由所述摄像单元拍摄到的图像抽出用户的面部图像，根据所述面部图像确定用户的视线方向，在用户的视线方向与所述显示单元的设置方向一致的情况下，判定为是用户能够对所述显示单元进行视觉辨认的状态。

技术方案19的发明在技术方案18的信息处理系统中构成为其特征在于，所述显示单元能够使姿势变化，在根据所述面部图像确定的用户的视线方向与和所述显示单元的姿势对应的显示方向一致的情况下，所述用户状态判定单元判定为是用户能够对所述显示单元进行视觉辨认的状态。

技术方案20的发明在技术方案1至19中的任意一个的信息处理系统中构成为其特征在于，还具备画面存储单元，该画面存储单元存储由所述画面更新单元更新后的画面，在由所述画面判定单元判定为使所述显示单元显示更新后的画面的情况下，所述显示控制单元将由所述画面更新单元更新后的画面从所述画面存储单元读出并使所述显示单元显示。

技术方案21的发明在技术方案20的信息处理系统中构成为其特征在于，在所述画面存储单元中存储有多个画面时，所述显示控制单元使所述显示单元依次显示所述多个画面。

技术方案22的发明在技术方案20或者21的信息处理系统中构成为其特征在于，在所述画面存储单元中存储有多个画面时，所述显示控制单元将最后存储到所述画面存储单元的画面优先地读出并使所述显示单元显示。

技术方案23的发明在技术方案20的信息处理系统中构成为其特征在于，在所述画面存储单元中存储有多个画面时，所述显示控制单元从所述多个画面的各个画面切出至少一部分的画面构成要素，使所述显示单元显示将所述画面构成要素合成于一个画面内的画面。

技术方案24的发明在技术方案1至23中的任意一个的信息处理系统中构成为其特征在于，所述显示控制单元在使所述显示单元显示由所述画面更新单元更新后的画面时，使由所述画面更新单元更新后的画面的至少一部分强调显示。

技术方案25的发明在技术方案1至24中的任意一个的信息处理系统中构成为其特征在于，所述信息处理系统由执行由用户指定的作业的图像处理装置构成。

技术方案26的发明在技术方案1至24中的任意一个的信息处理系统中构成为其特征在于，所述信息处理系统是图像处理装置和声音输入装置能够相互通信的结构，其中，所述图像处理装置执行由用户指定的作业，所述声音输入装置检测用户的声音，所述图像处理装置具备所述显示单元、所述声音操作受理单元、所述画面更新单元、所述画面判定单元以及所述显示控制单元，所述声音输入装置将用户的声音输出到所述图像处理装置。

技术方案27的发明在技术方案1至24中的任意一个的信息处理系统中构成为其特征在于，所述信息处理系统是图像处理装置、声音输入装置以及服务器能够相互通信的结构，其中，所述图像处理装置执行由用户指定的作业，所述声音输入装置检测用户的声音，所述服务器具备所述画面判定单元，根据由所述声音输入装置检测的用户的声音，判定是否使所述显示单元显示由所述画面更新单元更新后的画面，所述图像处理装置具备所述显示单元、所述声音操作受理单元、所述画面更新单元以及所述显示控制单元，所述显示控制单元根据所述服务器中的判定结果，使所述显示单元显示由所述画面更新单元更新后的画面。

技术方案28的发明是一种计算机可读取的记录介质，构成为记录有在具备显示单元的计算机中执行的程序，其特征在于，所述程序使所述计算机执行如下步骤：声音操作受理步骤，将用户的声音作为声音操作受理；画面更新步骤，根据通过所述声音操作受理步骤受理的声音操作，更新使所述显示单元显示的画面；画面判定步骤，判定是否使所述显示单元显示通过所述画面更新步骤更新后的画面；以及显示控制步骤，在通过所述画面判定步骤判定为使所述显示单元显示更新后的画面的情况下，使所述显示单元显示通过所述画面更新步骤更新后的画面。

技术方案29的发明在技术方案28的计算机可读取的记录介质中构成为其特征在于，所述程序使所述计算机还执行引导步骤，在该引导步骤中，在通过所述画面判定步骤判定为使所述显示单元显示更新后的画面的情况下，进行对用户提醒确认显示于所述显示单元的画面的声音引导。

技术方案30的发明在技术方案28或者29的计算机可读取的记录介质中构成为其特征在于，在所述画面判定步骤中，根据通过所述声音操作受理步骤受理的声音操作，确定通过所述画面更新步骤更新的画面的显示内容，根据该显示内容，判定是否使所述显示单元显示通过所述画面更新步骤更新后的画面。

技术方案31的发明在技术方案28至30中的任意一个的计算机可读取的记录介质中构成为其特征在于，在所述画面判定步骤中，在通过所述画面更新步骤更新的画面是进行图像的预览显示的画面的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

技术方案32的发明在技术方案28至30中的任意一个的计算机可读取的记录介质中构成为其特征在于，所述计算机还具备存储电子文件的文件存储单元，在所述画面判定步骤中，在通过所述画面更新步骤更新的画面是进行存储于所述文件存储单元的所述电子文件的缩略图显示的画面的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

技术方案33的发明在技术方案28至30中的任意一个的计算机可读取的记录介质中构成为其特征在于，所述计算机还具备进行图像的画质调整的图像处理单元，在所述画面判定步骤中，在通过所述画面更新步骤更新的画面是显示由所述图像处理单元进行画质调整后的图像的画面的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

技术方案34的发明在技术方案28至30中的任意一个的计算机可读取的记录介质中构成为其特征在于，所述计算机还具备：印刷单元，对片材进行印刷；以及后续处理单元，对由所述印刷单元印刷后的片材的指定的位置进行后续处理，在所述画面判定步骤中，在通过所述画面更新步骤更新的画面是对由所述后续处理单元进行后续处理的位置进行指定的画面的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

技术方案35的发明在技术方案28至30中的任意一个的计算机可读取的记录介质中构成为其特征在于，所述计算机还具备对片材进行印刷的印刷单元，在所述画面判定步骤中，在通过所述画面更新步骤更新的画面是用于进行在所述印刷单元进行印刷时重叠花纹或者水印的设定的画面的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

技术方案36的发明在技术方案28至30中的任意一个的计算机可读取的记录介质中构成为其特征在于，在所述画面判定步骤中，在通过所述画面更新步骤更新的画面是对多个作业进行一览显示的作业列表画面的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

技术方案37的发明在技术方案28至30中的任意一个的计算机可读取的记录介质中构成为其特征在于，在所述画面判定步骤中，在通过所述画面更新步骤更新的画面是对多个地址进行一览显示的地址选择画面的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

技术方案38的发明在技术方案28至30中的任意一个的计算机可读取的记录介质中构成为其特征在于，所述计算机还具备对预约作业进行登记并管理的作业管理单元，在所述画面判定步骤中，在多个预约作业被所述作业管理单元管理的状态下，在通过所述画面更新步骤更新的画面是从所述多个预约作业中选择成为取消对象的预约作业的画面的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

技术方案39的发明在技术方案28至30中的任意一个的计算机可读取的记录介质中构成为其特征在于，所述计算机还具备对预约作业进行登记并管理的作业管理单元，在所述画面判定步骤中，在多个预约作业被所述作业管理单元管理的状态下，在通过所述画面更新步骤更新的画面是从所述多个预约作业中选择成为设定变更对象的预约作业的画面的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

技术方案40的发明在技术方案28至30中的任意一个的计算机可读取的记录介质中构成为其特征在于，在所述画面判定步骤中，在通过所述画面更新步骤更新的画面中包括预定数以上的字符或者字符串的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

技术方案41的发明在技术方案28至40中的任意一个的计算机可读取的记录介质中构成为其特征在于，所述程序使所述计算机还执行用户状态判定步骤，在该用户状态判定步骤中，在通过所述画面判定步骤判定为使所述显示单元显示更新后的画面的情况下，判定是否是发出作为声音操作受理的声音的用户能够对所述显示单元进行视觉辨认的状态，在所述显示控制步骤中，与通过所述用户状态判定步骤判定为是用户能够对所述显示单元进行视觉辨认的状态相伴地，使所述显示单元显示通过所述画面更新步骤更新后的画面。

技术方案42的发明在技术方案41的计算机可读取的记录介质中构成为其特征在于，所述计算机还具备在所述显示单元的附近配置的声音输入单元，在所述用户状态判定步骤中，根据由所述声音输入单元检测的声音，判定是否是用户能够对所述显示单元进行视觉辨认的状态。

技术方案43的发明在技术方案41或者42的计算机可读取的记录介质中构成为其特征在于，所述计算机还具备在所述显示单元的附近配置的人感传感器，在所述用户状态判定步骤中，根据来自所述人感传感器的输出信号，判定是否是用户能够对所述显示单元进行视觉辨认的状态。

技术方案44的发明在技术方案41至43中的任意一个的计算机可读取的记录介质中构成为其特征在于，所述计算机还具备在所述显示单元的附近配置的摄像单元，在所述用户状态判定步骤中，根据由所述摄像单元拍摄的图像，判定是否是用户能够对所述显示单元进行视觉辨认的状态。

技术方案45的发明在技术方案44的计算机可读取的记录介质中构成为其特征在于，在所述用户状态判定步骤中，从由所述摄像单元拍摄到的图像抽出用户的面部图像，根据所述面部图像确定用户的视线方向，在用户的视线方向与所述显示单元的设置方向一致的情况下，判定为是用户能够对所述显示单元进行视觉辨认的状态。

技术方案46的发明在技术方案45的计算机可读取的记录介质中构成为其特征在于，所述显示单元能够使姿势变化，在所述用户状态判定步骤中，在根据所述面部图像确定的用户的视线方向与和所述显示单元的姿势对应的显示方向一致的情况下，判定为是用户能够对所述显示单元进行视觉辨认的状态。

技术方案47的发明在技术方案28至46中的任意一个的计算机可读取的记录介质中构成为其特征在于，所述计算机还具备画面存储单元，该画面存储单元存储通过所述画面更新步骤更新后的画面，在所述显示控制步骤中，在通过所述画面判定步骤判定为使所述显示单元显示更新后的画面的情况下，将通过所述画面更新步骤更新后的画面从所述画面存储单元读出并使所述显示单元显示。

技术方案48的发明在技术方案47的计算机可读取的记录介质中构成为其特征在于，在所述显示控制步骤中，在所述画面存储单元中存储有多个画面时，使所述显示单元依次显示所述多个画面。

技术方案49的发明在技术方案47或者48的计算机可读取的记录介质中构成为其特征在于，在所述显示控制步骤中，在所述画面存储单元中存储有多个画面时，将最后存储到所述画面存储单元的画面优先地读出并使所述显示单元显示。

技术方案50的发明在技术方案47的计算机可读取的记录介质中构成为其特征在于，在所述显示控制步骤中，在所述画面存储单元中存储有多个画面时，从所述多个画面的各个画面切出至少一部分的画面构成要素，使所述显示单元显示将所述画面构成要素合成于一个画面内的画面。

技术方案51的发明在技术方案28至50中的任意一个的计算机可读取的记录介质中构成为其特征在于，在所述显示控制步骤中，在使所述显示单元显示通过所述画面更新步骤更新后的画面时，使通过所述画面更新步骤更新后的画面的至少一部分强调显示。

根据本发明，即使在进行用户的声音操作时难以对用户进行利用声音的反馈的情况下，也能够对用户准确地传递应反馈的信息。

附图说明

图1是示出第1实施方式中的信息处理系统的一个结构例的图。

图2是示出图像处理装置的结构例的图。

图3是示出信息处理系统的硬件结构的图。

图4是示出图像处理装置中的控制部的功能结构的框图。

图5是示出在图像处理装置中进行的主要的处理过程的一个例子的流程图。

图6是示出画面判定处理的详细的处理过程的一个例子的第1流程图。

图7是示出画面判定处理的详细的处理过程的一个例子的第2流程图。

图8是示出预览显示画面的一个例子的图。

图9是示出缩略图显示画面的一个例子的图。

图10是示出作业列表画面的一个例子的图。

图11是示出地址选择画面的一个例子的图。

图12是示出应用设定画面的一个例子的图。

图13是示出进行图像的画质调整后的画面的一个例子的图。

图14是示出后续处理设定画面的一个例子的图。

图15是示出进行花纹或者水印的设定的画面的一个例子的图。

图16是示出用户状态判定处理的详细的处理过程的一个例子的流程图。

图17是示出图像显示处理的详细的处理过程的一个例子的流程图。

图18是示出确认用显示画面的一个例子的图。

图19是示出针对画面的强调处理的概念的图。

图20是示出第2实施方式中的信息处理系统的一个结构例的图。

图21是示出第3实施方式中的信息处理系统的一个结构例的图。

(符号说明)

1：信息处理系统；2：图像处理装置；3：声音输入装置；4：网络；5：服务器；12：打印机部(印刷单元)；17：摄像部(摄像单元)；18：人感传感器；24：图像处理部(图像处理单元)；29：后续处理装置(后续处理)；30：显示部(显示单元)；32：麦克风(声音输入单元)；35：程序；36：文件存储部(文件存储单元)；38：画面存储部(画面存储单元)；51：声音操作受理部(声音操作受理单元)；53：作业管理部(作业管理单元)；54：画面更新部(画面更新单元)；56：声音引导部(引导单元)；55：显示控制部(显示控制单元)；57：画面判定部(画面判定单元)；58：用户状态判定部(用户状态判定单元)。

具体实施方式

以下，参照附图，详细说明与本发明相关的优选的实施方式。此外，在以下说明的实施方式中对相互共同的要素附加同一符号，省略关于它们的重复的说明。

(第1实施方式)

图1是示出作为本发明的第1实施方式的信息处理系统1的一个结构例的图。该信息处理系统1是由MFP等构成的图像处理装置2和被称为AI扬声器等的声音输入装置3经由LAN(Local Area Network，局域网)等网络4可通信地连接的结构。网络4可以是有线网络，也可以是无线网络。另外，也可以对网络4连接有省略图示的个人计算机等其他设备。

图像处理装置2例如具有扫描功能、打印功能、拷贝功能、传真功能、盒(BOX)功能、电子邮件发送接收功能等多个功能，执行由用户指定的作业。例如，在由用户选择了拷贝功能的情况下，图像处理装置2根据用户的指示进行与拷贝功能有关的各种设定，与由用户指示作业的执行相伴地开始拷贝作业的执行。此外，盒功能是在预定的存储区域中存储有图像数据等电子文件的功能。

声音输入装置3例如设置于与图像处理装置2分离的场所。声音输入装置3能够与图像处理装置2进行协作动作。即，声音输入装置3具有根据用户的声音对图像处理装置2进行远程操作的功能。例如，声音输入装置3在检测到用户的声音时，生成基于该声音的声音信息并发送给图像处理装置2。

图像处理装置2在从声音输入装置3接收到声音信息时，将与该声音信息对应的用户的声音作为声音操作而受理。然后，图像处理装置2进行使该声音操作反映到装置内部的处理。例如，在用户的声音操作是进行作业的设定的操作的情况下，图像处理装置2进行基于声音操作的设定处理。另外，在用户的声音操作是指示作业的执行开始的操作的情况下，图像处理装置2执行由用户指定的作业。

图像处理装置2在进行基于从声音输入装置3接收到的声音信息的处理的情况下，生成用于对用户反馈处理结果的声音信息，将该声音信息发送给声音输入装置3。声音输入装置3在从图像处理装置2取得用于反馈给用户的声音信息时，从扬声器输出基于该声音信息的声音。因此，用户即使在处于与图像处理装置2分离的场所的情况下，也能够一边与声音输入装置3进行基于声音的对话，一边进行针对图像处理装置2的作业的设定操作等。

图2是示出图像处理装置2的图。如图2的(a)所示，图像处理装置2在装置主体的下部具备打印机部12。打印机部12具备图像形成部10和供纸部11，进行针对印刷纸张等片材的印刷处理。例如，供纸部11收容有多张片材的束，在印刷作业、拷贝作业的执行过程中将片材逐张提供给图像形成部10。图像形成部10通过将调色剂像转印到从供纸部11提供的片材并定影，将成为印刷对象的图像印刷到片材。

另外，图像处理装置2在装置主体的上部具备扫描仪部15。例如，扫描仪部15具备光学地读取原稿的图像的图像读取部13和自动搬送原稿的自动原稿搬送部14。在由用户指示扫描作业、拷贝作业的执行后，自动原稿搬送部14将由用户设置的原稿逐张取出而自动搬送到图像读取部13的读取位置，图像读取部13在由自动原稿搬送部14搬送的原稿通过读取位置时读取原稿的图像，生成图像数据。

另外，图像处理装置2在扫描仪部15的正面侧具备操作面板16。操作面板16是成为用户操作图像处理装置2时的用户接口的装置。操作面板16显示用户可操作的各种画面，受理用户的操作。操作面板16能够受理针对各种画面的用户的手动操作，并且还能够受理用户的声音操作。另外，在操作面板16的附近位置，设置有用于对操作操作面板16的用户的面部图像进行拍摄的摄像部17。

图2的(b)是从侧面观察操作面板16的图。操作面板16能够以在装置主体的左右方向上延伸的旋转轴为中心而转动，能够使其姿势变化。例如，操作面板16能够如图2的(b)所示，使姿势在预定角度θ的范围内变化。因此，操作面板16朝向与其姿势对应的方向而显示各种画面。用户在进行针对操作面板16的操作时使操作面板16的姿势与自己的身高、姿势相符地变化，从而能够使各种画面易于视觉辨认。

另外，图像处理装置2如图2的(a)所示，在装置主体的正面侧具备人感传感器18。人感传感器18是检测在图像处理装置2的正面侧的预定距离的范围内存在的人的传感器，例如由红外线传感器等构成。

图3是示出信息处理系统1的硬件结构的图。首先，声音输入装置3作为其硬件结构，具备控制部40、通信接口41、麦克风42以及扬声器43。控制部40构成为具备省略图示的CPU和存储器，控制各部的动作。通信接口41用于将声音输入装置3与网络4连接，进行与图像处理装置2的通信。例如，在通过麦克风42检测用户的声音并从麦克风42输出基于用户的声音的声音信息时，控制部40经由通信接口41将该声音信息发送到图像处理装置2。由此，在图像处理装置2中进行基于用户的声音的处理。另外，控制部40在经由通信接口41从图像处理装置2接收到用于对用户反馈的声音信息时，根据该声音信息驱动扬声器43，从而从扬声器43输出声音。例如，在用户利用声音将作业的设定项目的设定值从默认值变更的情况下，从图像处理装置2输出与变更后的设定值对应的声音信息。控制部40从扬声器43输出基于该声音信息的声音，从而用户能够确认在图像处理装置2中是否准确地设定了由自己指定的设定值。因此，用户能够一边与声音输入装置3进行对话，一边远程地进行针对图像处理装置2的操作。

接下来，图像处理装置2构成为作为其硬件结构，除了具备上述打印机部12、扫描仪部15、操作面板16、摄像部17以及人感传感器18以外，还具备控制部20、通信接口23、图像处理部24、传真部25、面板姿势检测部26以及存储装置28，这些各部能够经由内部总线相互进行数据的输入输出。另外，图像处理装置2能够对内部总线连接后续处理装置29。后续处理装置29是获得由打印机部12输出的印刷后的片材并对该片材进行装订、穿孔等后续处理的装置。

操作面板16具备显示部30、操作部31、麦克风32以及扬声器33。显示部30例如由彩色液晶显示器构成，显示用户可操作的各种画面。操作部31用于检测用户的手动操作，例如由配置于显示部30的显示画面上的触摸面板传感器、配置于显示部30的显示画面的周围的按压按钮按键等构成。麦克风32检测操作操作面板16的用户的声音，生成声音信息。另外，扬声器33对用户利用声音输出各种引导。

例如，在未由人感传感器18在图像处理装置2的正面侧的预定距离的范围内检测到人的情况下，操作面板16也可以切断针对显示部30的电力供给而使画面显示功能停止。在该情况下，即使在操作面板16的画面显示功能停止的状态下，在用户利用声音进行了针对图像处理装置2的远程操作时，在图像处理装置2的内部也会根据用户的操作而逐步更新应显示于显示部30的画面。

控制部20具备CPU21和存储器22，控制各部的动作。CPU21读出并执行存储于存储装置28的程序35。存储器22用于与CPU21执行程序35相伴地存储临时性的数据等。CPU21通过执行程序35，使控制部20作为后述各种处理部发挥功能。

通信接口23将图像处理装置2与网络4连接，和与网络4连接的其他设备进行通信。例如，通信接口23接收从声音输入装置3发送的声音信息，将从控制部20输出的声音信息发送到声音输入装置3等。

图像处理部24对图像数据进行各种图像处理。例如，图像处理部24能够对彩色图像进行使色调等变化的画质调整处理。另外，图像处理部24还能够对图像数据进行使由用户指定的图像重叠为花纹、水印等的处理。

传真部25经由省略图示的公共电话网进行传真数据的发送接收。例如，在由用户指定了传真发送的情况下，传真部25根据成为发送对象的图像数据生成传真数据，将该传真数据发送给由用户指定的发送目的地。

面板姿势检测部26检测操作面板16的姿势。如上所述，操作面板16能够使姿势在预定角度θ的范围内任意地变化。面板姿势检测部26检测这样的操作面板16的姿势(角度)。

存储装置28是由硬盘驱动器(HDD)、固态驱动器(SSD)等构成的非易失性的存储单元。在存储装置28中预先存储上述程序35。另外，在存储装置28中，作为存储各种数据的存储区域，设置有文件存储部36、作业存储部37以及画面存储部38。

文件存储部36是在盒功能中利用的存储区域。即，文件存储部36是存储有图像数据、文档数据等电子文件的存储区域。在文件存储部36中能够存储多个电子文件。例如，控制部20在受理到用户的电子文件的登记操作时，将由用户指定的电子文件保存到文件存储部36。

作业存储部37是用于存储由用户登记的预约作业的存储区域。在作业存储部37中能够存储多个预约作业。例如，控制部20在受理到用户的预约作业的登记操作时，将由用户指定的作业作为预约作业保存到作业存储部37。

画面存储部38是用于存储与用于显示于显示部30的画面有关的信息(画面信息)的存储区域。例如，控制部20在作为声音操作受理到用户的声音的情况下，更新应显示于操作面板16的显示部30的画面。此时，如果显示部30的画面显示功能停止，则无法使显示部30显示更新后的画面。因此，控制部20将与根据用户的操作更新后的画面有关的画面信息保存到画面存储部38而管理。

接下来，图4是示出图像处理装置2中的控制部20的功能结构的框图。控制部20的CPU21通过执行程序35，使控制部20作为操作受理部50、用户认证部52、作业管理部53、画面更新部54、显示控制部55、声音引导部56、画面判定部57以及用户状态判定部58发挥功能。

操作受理部50是受理用户的操作的处理部。用户对图像处理装置2进行的操作有手动操作和声音操作这2种。操作受理部50能够受理这2种操作。例如，在用户对操作面板16的操作部31进行了手动操作的情况下，操作受理部50根据从操作部31输出的操作信息，受理用户的手动操作。该操作受理部50具有声音操作受理部51。声音操作受理部51是将用户的声音作为声音操作受理的处理部。例如，声音操作受理部51在经由通信接口23接收到从声音输入装置3输出的声音信息的情况下，将基于该声音信息的用户的声音作为声音操作受理。另外，声音操作受理部51在取得从搭载于操作面板16的麦克风32输出的声音信息的情况下，还能够将基于该声音信息的用户的声音作为声音操作受理。

用户认证部52是对想要使用图像处理装置2的用户进行认证的处理部。用户认证部52从操作受理部50取得操作信息或者声音信息，根据该取得的信息进行认证处理。例如，用户认证部52通过将对操作面板16的操作部31输入的用户ID、口令与预先登记的认证信息进行对照，进行认证处理。另外，用户认证部52从基于用户的声音的声音信息抽出声波纹信息，将该声波纹信息与预先登记的声波纹特征信息进行对照，从而进行声波纹认证。在认证处理成功时，用户认证部52能够确定想要使用图像处理装置2的用户。在图像处理装置2是注销状态时认证处理成功时，用户认证部52将在认证处理中确定的用户认定为登录用户，使图像处理装置2转移到登录用户可使用的登录状态。由此，用户能够对图像处理装置2进行作业的设定操作、作业的执行指示。

在图像处理装置2转移到登录状态后，在声音操作受理部51在从声音输入装置3接收到声音信息时，进行基于该声音信息的声音识别处理。在声音识别处理中进行抽出用户发出的词语的处理。在声音识别处理中抽出用户发出的词语后，声音操作受理部51判断该抽出的词语是否与预先登记的声音操作用关键字一致。在抽出的词语与声音操作用关键字一致的情况下，声音操作受理部51能够确定在图像处理装置2中应进行的处理。因此，在抽出的词语与声音操作用关键字一致的情况下，声音操作受理部51将从声音输入装置3接收到的声音信息作为声音操作受理。然后，声音操作受理部51将与抽出的词语一致的声音操作用关键字输出到作业管理部53以及画面更新部54的各个。

作业管理部53是管理作业的处理部。作业管理部53根据从声音操作受理部51输出的声音操作用关键字进行作业的设定、执行控制。另外，在用户指定了将作业登记为预约作业的情况下，作业管理部53将反映了基于声音操作的作业设定的预约作业保存到作业存储部37而管理。另外，在用户指示了进行针对图像数据的画质调整的情况下，作业管理部53使图像处理部24动作，使图像处理部24进行用户指示的画质调整。另外，在用户指示了对图像数据重叠花纹、水印等的情况下，作业管理部53使图像处理部24发挥功能，使图像处理部24进行将用户指定的图像作为花纹、水印重叠到图像数据的处理。

画面更新部54是生成显示于显示部30的画面并将该画面根据用户的操作逐步更新的处理部。画面更新部54根据从声音操作受理部51输出的声音操作用关键字，更新应显示于显示部30的画面。例如，在用户选择了拷贝功能的情况下，画面更新部54生成用于进行与拷贝功能有关的作业的设定的设定画面作为应显示于显示部30的画面。然后，在包含于该设定画面的设定项目被用户设定变更时，画面更新部54将该设定项目的设定值从默认值变更为由用户指定的值，更新设定画面。另外，在用户指示了图像的预览显示的情况下，画面更新部54生成对由用户指定的图像进行预览显示的预览显示画面作为应显示于显示部30的画面。之后，在由用户指示了预览显示的图像的画质调整的情况下，画面更新部54将预览对象的图像变更为由图像处理部24画质调整后的图像，更新预览显示画面。这样，画面更新部54根据用户的指示，逐步更新用于显示于显示部30的画面。然后，画面更新部54对显示控制部55输出画面信息。

显示控制部55进行显示部30中的画面的显示控制。显示控制部55在显示部30的画面显示功能有效地动作时，根据从画面更新部54输出的画面信息使显示部30显示画面。因此，用户能够一边确认显示于显示部30的画面，一边进行针对图像处理装置2的操作。另外，在用户通过对声音输入装置3输入声音而对图像处理装置2进行远程操作的情况下，显示控制部55也可以使显示部30的画面显示功能停止。在该情况下，显示控制部55即使取得从画面更新部54输出的画面信息，也不进行基于该画面信息的画面显示。

声音引导部56是生成并输出用于进行针对用户的声音引导的声音信息的处理部。例如，在根据用户的声音操作通过画面更新部54进行了画面更新的情况下，声音引导部56生成并输出用于至少将画面内的更新后的部分利用声音反馈给用户的声音信息。在基于用户的声音的声音信息是从声音输入装置3接收到的信息的情况下，声音引导部56经由通信接口23向声音输入装置3输出声音信息。声音输入装置3在从图像处理装置2取得声音信息后，进行基于该声音信息的声音输出。

例如，在用户对声音输入装置3发出“份数3”这样的声音的情况下，在图像处理装置2中“份数”的设定项目的值从作为默认值的“1”变更为“3”，设定画面被更新。在该情况下，声音引导部56例如生成“已将份数设定为3。”这样的声音信息，发送到声音输入装置3。由此，声音输入装置3从扬声器43进行“已将份数设定为3。”这样的声音输出。因此，用户能够判断在图像处理装置2中是否准确地反映了利用声音指定的设定。

另外，声音引导部56在基于用户的声音的声音信息是从操作面板16的麦克风32取得的信息的情况下，将用于对用户进行声音引导的声音信息输出给扬声器33。即，声音引导部56能够根据基于用户的声音的声音信息的获得目的地，切换用于声音引导的声音信息的输出目的地。因此，在用户一边观察显示于操作面板16的显示部30的画面一边进行声音操作的情况下，能够从操作面板16的扬声器33输出用于声音引导的声音。

画面判定部57是判定是否使显示部30显示由画面更新部54更新的画面的处理部。例如，画面判定部57在显示部30的画面显示功能停止的状态时画面被画面更新部54更新时，判定是否需要使显示部30显示该更新后的画面。另外，不限于此，画面判定部57也可以在根据从声音输入装置3接收到的声音信息而画面被更新的情况下，始终判定是否需要使显示部30显示该更新后的画面。该画面判定部57根据由声音操作受理部51受理的声音操作，确定由画面更新部54更新的画面的显示内容，根据该显示内容判定是否使显示部30显示画面。

若具体地说明，则画面判定部57在优选让用户直接观察由画面更新部54更新后的画面的情况下，将更新后的画面判定为是需要使显示部30显示的画面。相对于此，在由画面更新部54更新后的画面是无需让用户观察的画面的情况下，画面判定部57将更新后的画面判定为是无需使显示部30显示的画面。

上述声音引导部56在由画面更新部54更新画面后，生成并输出用于至少将画面内的更新后的部分利用声音反馈给用户的声音信息。但是，发生难以用声音表现由画面更新部54更新后的部分的情形。例如，在用户指示图像的预览显示而画面被画面更新部54更新为预览显示画面的情况下，难以用声音表现显示于预览显示画面的图像，无法对用户准确地反馈更新后的画面的内容。另外，在由画面更新部54更新后的部分涉及多方面而将更新后的部分全部用声音表现时，还发生声音的再生时间变长而难以将更新后的部分全部准确地反馈给用户的情形。例如，在用户指示画面迁移而画面被画面更新部54更新为包含许多设定项目的画面的情况下，在想要将包含于更新后的画面内的许多设定项目全部利用声音反馈给用户时，声音的再生时间变长而无法将许多设定项目全部准确地传递给用户。

因此，画面判定部57在能够利用声音适合地表现由画面更新部54更新后的部分且声音的再生时间为预定时间以下的情况下，能够利用声音进行反馈，所以将更新后的画面判定为是无需使显示部30显示的画面。相对于此，画面判定部57在难以利用声音适合地表现由画面更新部54更新后的部分的情况下、或者在声音的再生时间超过预定时间的情况下，难以利用声音进行反馈，所以将更新后的画面判定为是需要使显示部30显示的画面。然后，画面判定部57将其判定结果输出到显示控制部55、声音引导部56以及用户状态判定部58的各个。

显示控制部55当在画面判定部57中判定为更新后的画面是需要显示于显示部30的画面的情况下，根据从画面更新部54输出的更新后的画面信息，使显示于显示部30的画面更新而显示。但是，在显示部30的画面显示功能停止时，显示控制部55不使显示部30立即显示更新后的画面。在该情况下，显示控制部55将从画面更新部54输出的更新后的画面信息保存到画面存储部38而管理。然后，在预定的条件成立时，显示控制部55使显示部30的画面显示功能有效地动作，并且从画面存储部38读出画面信息并显示于显示部30。

声音引导部56当在画面判定部57中判定为更新后的画面是需要显示于显示部30的画面的情况下，生成用于对用户提醒确认显示于显示部30的画面的声音引导的声音信息，输出该声音信息。在用户对声音输入装置3进行声音输入的情况下，声音引导部56对声音输入装置3发送用于声音引导的声音信息。因此，用户能够通过从声音输入装置3输出的声音引导，掌握是最好移动至图像处理装置2的设置场所来确认显示于操作面板16的画面的状况这个情况。

用户状态判定部58是在画面判定部57中判定为更新后的画面是需要显示于显示部30的画面的情况下判定是否是进行声音操作的用户能够对操作面板16的显示部30进行视觉辨认的状态的处理部。用户状态判定部58根据从人感传感器18、操作面板16的麦克风32、摄像部17以及面板姿势检测部26中的至少1个输出的信息，判定是否是用户能够对显示部30进行视觉辨认的状态。

例如，用户状态判定部58也可以在由人感传感器18在图像处理装置2的正面侧的预定距离的范围内检测到人的情况下，判定为用户能够对显示部30进行视觉辨认。但是，在该情况下，无法确定由人感传感器18检测到的人是否是进行针对图像处理装置2的声音操作的用户。

另外，用户状态判定部58也可以在由操作面板16的麦克风32检测到用户的声音的情况下，判定为用户能够对显示部30进行视觉辨认。在该情况下，用户状态判定部58优选以由麦克风32检测到预定音量级别以上的声音为条件，判定为用户能够对显示部30进行视觉辨认。其原因为，如果是预定音量级别以上的声音，则可知用户位于图像处理装置2的附近。另外，用户状态判定部58也可以在麦克风32具备多个麦克风的情况下，根据这些多个麦克风检测的音量级别而检测发出声音的方向，从而确定用户所处的方向，在用户位于操作面板16的正面的情况下，判定为用户能够对显示部30进行视觉辨认。另外，用户状态判定部58优选在由麦克风32检测到用户的声音的情况下进行基于该声音的声波纹认证。通过该声波纹认证，能够判定由麦克风32检测到的声音是否是由当前进行声音操作的用户发出的声音。此外，用户状态判定部58也可以将基于由麦克风32检测到的声音的声音信息输出给用户认证部52，对用户认证部52委托声波纹认证。

另外，用户状态判定部58也可以驱动摄像部17来对操作操作面板16的用户的面部图像进行拍摄，判定是否是用户能够对显示部30进行视觉辨认的状态。例如，用户状态判定部58从从摄像部17得到的拍摄图像中抽出面部图像。在未能从拍摄图像抽出面部图像的情况下，用户并非是能够对显示部30进行视觉辨认的状态。另外，在能够从拍摄图像抽出面部图像的情况下，用户状态判定部58根据该面部图像进行面部认证，判定在拍摄图像中拍摄到的用户是否与进行声音操作的用户一致。在拍摄图像中拍摄到的用户与进行声音操作的用户一致的情况下，用户状态判定部58能够判定为是进行声音操作的用户能够对显示部30进行视觉辨认的状态。

另外，用户状态判定部58也可以通过解析面部图像来确定用户的视线方向，在用户的视线朝向显示部30的情况下，判定为是进行声音操作的用户能够对显示部30进行视觉辨认的状态。进而，用户状态判定部58也可以根据由面板姿势检测部26检测的操作面板16的姿势，确定显示部30的显示方向，在用户的视线方向和显示部30的显示方向一致的情况下，判定为是进行声音操作的用户能够对显示部30进行视觉辨认的状态。

用户状态判定部58在检测到经由声音输入装置3进行远程操作的用户移动至图像处理装置2的设置场所而成为能够对显示部30进行视觉辨认的状态时，对显示控制部55指示画面显示。其中，在显示部30的画面显示功能未停止且在显示部30中已经进行画面显示的情况下，无需进行用户状态判定部58的判定。因此，至少在显示部30的画面显示功能停止时进行用户状态判定部58的判定处理。

显示控制部55根据来自用户状态判定部58的指示，使显示部30的画面显示功能有效地动作。另外，显示控制部55读出存储于画面存储部38的画面信息，使基于该画面信息的画面显示于显示部30。由此，能够使用户视觉辨认难以利用声音反馈的画面，能够对用户准确地传递信息。

接下来，说明图像处理装置2中的具体的动作。图5是示出在图像处理装置2中进行的主要的处理过程的一个例子的流程图。该处理是通过在图像处理装置2的控制部20中CPU21执行程序35而进行的处理。图像处理装置2在开始该处理后，判断是否从声音输入装置3接收到声音信息(步骤S10)。在未接收到声音信息的情况下(在步骤S10中“否”)，待机直至接收到声音信息。在从声音输入装置3接收到声音信息的情况下(在步骤S10中“是”)，图像处理装置2进行基于声音信息的声波纹认证(步骤S11)，判断是否能够确定用户(步骤S12)。在未能确定用户的情况下(在步骤S12中“否”)，图像处理装置2的处理返回到步骤S10。相对于此，在能够确定用户的情况下(在步骤S12中“是”)，图像处理装置2判断是否已转移到登录状态(步骤S13)。在未转移到登录状态的情况下(在步骤S13中“否”)，图像处理装置2将通过声波纹认证确定出的用户作为登录用户而转移到登录状态(步骤S14)。此外，在已转移到将通过声波纹认证确定出的用户作为登录用户的登录状态的情况下(在步骤S13中“是”)，跳过步骤S14的处理。

在转移到登录状态后，图像处理装置2进行基于在步骤S10中接收到的声音信息的声音识别处理(步骤S15)，判断用户发出的声音是否与声音操作用关键字一致(步骤S16)。在用户发出的声音与声音操作用关键字不一致的情况下(在步骤S16中“否”)，图像处理装置2不将声音信息作为声音操作受理。在该情况下，图像处理装置2的处理返回到步骤S10。

在用户发出的声音与声音操作用关键字一致的情况下(在步骤S16中“是”)，图像处理装置2将声音信息作为声音操作受理(步骤S17)。然后，图像处理装置2进行用于使用户的声音操作反映到装置内部的声音操作反映处理(步骤S18)。在声音操作反映处理中，由作业管理部53进行基于用户的指示的作业的设定等。另外，在声音操作反映处理中，由画面更新部54根据需要更新应显示于显示部30的画面。

图像处理装置2在进行声音操作反映处理时，判断画面是否被画面更新部54更新(步骤S19)。在未进行画面更新的情况下(在步骤S19中“否”)，图像处理装置2进行用于利用声音反馈基于用户的声音操作的处理结果的声音反馈处理(步骤S20)。例如，在根据用户的声音操作而作业管理部53开始了作业的执行的情况下，图像处理装置2例如生成用于输出“开始了作业的执行。”等声音的声音信息，对声音输入装置3发送该声音信息。

另外，在进行了画面更新部54的画面更新的情况下(在步骤S19中“是”)，图像处理装置2使画面判定部57发挥功能，执行判定是否需要使显示部30显示更新后的画面的画面判定处理(步骤S21)。此外，后述画面判定处理(步骤S21)的详细内容。

图像处理装置2判断作为画面判定处理的结果是否进行画面显示(步骤S22)。在无需使显示部30显示由画面更新部54更新后的画面的情况下(在步骤S22中“否”)，图像处理装置2进行声音反馈处理(步骤S20)。例如，在通过用户的声音操作而一个设定项目的设定值从默认值被变更的情况下，图像处理装置2生成用于利用声音反馈设定变更后的设定值的声音信息，对声音输入装置3发送该声音信息。

另一方面，在需要使显示部30显示由画面更新部54更新后的画面的情况下(在步骤S22中“是”)，图像处理装置2进行对用户提醒确认显示于显示部30的画面的声音引导(步骤S23)。由此，经由声音输入装置3进行远程操作的用户能够掌握需要对显示于图像处理装置2的操作面板16的画面进行视觉辨认。

图像处理装置2在进行对用户的声音引导时，使用户状态判定部58发挥功能，执行用户状态判定处理(步骤S24)。即，图像处理装置2进行判定是否是进行声音操作的用户能够对显示于操作面板16的显示部30的画面进行视觉辨认的状态的处理。此外，后述该用户状态判定处理(步骤S24)的详细内容。然后，图像处理装置2在用户状态判定处理的结果是判断为用户能够对显示部30进行视觉辨认时(在步骤S25中“是”)，执行画面显示处理(步骤S26)。即，显示控制部55使显示部30的画面显示功能有效地动作，使显示部30显示由画面更新部54更新后的画面。因此，用户通过对显示于显示部30的画面进行视觉辨认，能够在视觉上确认反映了自己的声音操作的状态。此外，后述该画面显示处理(步骤S26)的详细内容。

之后，图像处理装置2判断是否由用户进行了注销操作(步骤S27)，在进行了注销操作的情况下(在步骤S27中“是”)，图像处理装置2的处理结束。另外，在未进行注销操作的情况下(在步骤S27中“否”)，图像处理装置2的处理返回到步骤S10，反复进行上述处理。

图6是示出画面判定处理(步骤S21)的详细的处理过程的一个例子的流程图。该画面判定处理是由上述画面判定部57进行的处理。画面判定部57在开始画面判定处理(步骤S21)后，判断其以前的画面是否通过画面更新而迁移到其他画面(步骤S30)。在画面通过画面更新而迁移的情况下(在步骤S30中“是”)，画面判定部57判断迁移后的画面是否是预览显示画面(步骤S31)。图8是示出预览显示画面G1的一个例子的图。预览显示画面G1如图8所示，是对由用户指定的图像61进行预览显示的画面。例如，在由用户选择一个图像61并指示该图像61的预览显示时，通过画面更新部54显示如图8所示的预览显示画面G1。该预览显示画面G1是用于使用户确认图像61的画面。在预览显示画面G1中显示的图像61的详细内容无法用声音表现。因此，画面判定部57在迁移后的画面是预览显示画面G1的情况下(在步骤S31中“是”)，决定为需要使显示部30显示由画面更新部54更新后的画面(步骤S32)。

另外，在迁移后的画面并非预览显示画面G1的情况下(在步骤S31中“否”)，画面判定部57判断迁移后的画面是否是缩略图显示画面(步骤S33)。图9是示出缩略图显示画面G2的一个例子的图。如图9所示，缩略图显示画面G2具有缩略图显示区域62。另外，缩略图显示画面G2在该缩略图显示区域62中显示由用户指定的文件存储部36中保存的电子文件的缩略图图像63。在文件存储部36中保存有多个电子文件的情况下，在缩略图显示区域62中，以一定间隔配置这些多个电子文件的缩略图图像63。另外，用户通过进行针对显示于缩略图显示区域62的缩略图图像63的操作，能够从多个电子文件中选择至少1个电子文件。在这样的缩略图显示画面G2中显示的缩略图图像63无法用声音表现其详细内容。因此，画面判定部57在迁移后的画面是缩略图显示画面G2的情况下(在步骤S33中“是”)，决定为需要使显示部30显示由画面更新部54更新后的画面(步骤S32)。

另外，在迁移后的画面并非缩略图显示画面G2的情况下(在步骤S33中“否”)，画面判定部57判断迁移后的画面是否是作业列表画面(步骤S34)。图10是示出作业列表画面G3的一个例子的图。如图10所示，作业列表画面G3具有作业列表显示区域64，能够在该作业列表显示区域64中显示与至少1个作业有关的信息。例如，在作业存储部37中登记有多个预约作业时，在由用户进行使作业列表显示的指示后，画面更新部54从作业存储部37取得与多个预约作业的各个预约作业有关的信息，生成如图10所示的作业列表画面G3，将其以前的画面更新为作业列表画面G3。在作业列表显示区域64中显示与1个预约作业有关的信息的情况下，也可以对用户利用声音进行反馈。但是，在如图10所示在作业列表显示区域64中显示与多个预约作业有关的信息的情况下，声音的再生时间变长，所以不优选利用声音的反馈。因此，画面判定部57在迁移后的画面是作业列表画面G3的情况下(在步骤S34中“是”)，决定为需要使显示部30显示由画面更新部54更新后的画面(步骤S32)。

另外，在迁移后的画面并非作业列表画面G3的情况下(在步骤S34中“否”)，画面判定部57判断迁移后的画面是否是地址选择画面(步骤S35)。图11是示出地址选择画面G4的一个例子的图。如图11所示，地址选择画面G4具有地址显示区域65，能够在该地址显示区域65中显示至少1个地址信息。例如，在图像处理装置2中预先登记有多个地址信息的情况下，在地址显示区域65中显示多个地址信息。在地址显示区域65中仅显示1个地址信息的情况下，也可以对用户利用声音反馈地址信息。但是，在如图11所示在地址显示区域65中显示多个地址信息的情况下，声音的再生时间变长，所以不优选利用声音的反馈。因此，画面判定部57在迁移后的画面是地址选择画面G4的情况下(在步骤S35中“是”)，决定为需要使显示部30显示由画面更新部54更新后的画面(步骤S32)。

另外，在迁移后的画面并非地址选择画面G4的情况下(在步骤S35中“否”)，画面判定部57对包含于迁移后的画面的字符数进行计数(步骤S36)，判断该字符数是否是预定数以上(步骤S37)。在包含于迁移后的画面的字符数是预定数以上时，利用声音反馈时的再生时间变长，存在用户无法充分理解所反馈的信息的可能性。因此，在包含于迁移后的画面的字符数是预定数以上的情况下(在步骤S37中“是”)，画面判定部57决定为需要使显示部30显示由画面更新部54更新后的画面(步骤S32)。此外，该情况的预定数能够适当地设定，例如也可以预先设定为100字符左右。

图12是示出应用设定画面G5的一个例子的图。该应用设定画面G5例如是在用户进行了进行应用设定的指示的情况下从其以前的画面迁移的画面。在该应用设定画面G5中包括许多设定项目，包括表示各设定项目的名称的字符、表示各设定项目的当前的设定值的字符。画面判定部57对包含于应用设定画面G5的字符的字符数进行计算，判定该字符数是否是预定数以上。

另外，在包含于迁移后的画面的字符数并非预定数以上的情况下(在步骤S37中“否”)，画面判定部57对包含于迁移后的画面的字符串的数量进行计数(步骤S38)，判断字符串的数量是否是预定数以上(步骤S39)。在包含于迁移后的画面的字符串的数量是预定数以上时，利用声音反馈时的再生时间变长，存在用户无法充分理解反馈的信息的可能性。因此，在包含于迁移后的画面的字符串的数量是预定数以上的情况下(在步骤S39中“是”)，画面判定部57决定为需要使显示部30显示由画面更新部54更新后的画面(步骤S32)。此外，该情况的预定数能够适当地设定，例如也可以预先设定为10左右。例如，在如图12所示的应用设定画面G5的情况下，设定项目的数量多，字符串的数量多。因此，画面判定部57在画面通过画面更新部54而迁移到如图12所示的应用设定画面G5的情况下，决定为需要使显示部30显示应用设定画面G5(步骤S32)。

另外，在包含于迁移后的画面的字符串的数量小于预定数的情况下(在步骤S39中“否”)，画面判定部57不进行步骤S32的处理。在该情况下，画面判定部57决定为无需使显示部30显示迁移后的画面。

另一方面，在未由画面更新部54进行画面迁移而画面被更新的情况下(在步骤S30中“否”)，画面判定部57的处理进入到图7的流程图。在该情况下，画面判定部57判断是否根据用户的指示进行了图像的画质调整(步骤S40)。例如，如图13所示，在由用户指示包含于预览显示画面G1的图像61的画质调整时，画面更新部54根据由图像处理部24画质调整后的图像，更新预览显示画面G1的图像61。在图13的例子中，例示了包含于图像的一部分的颜色被变换为其他颜色的情况。在进行了针对图像61的画质调整的情况下，难以利用声音表现图像61的哪个部分如何变化。因此，画面判定部57在由用户指示画质调整而包含于画面内的图像被更新的情况下(在步骤S40中“是”)，决定为需要使显示部30显示由画面更新部54更新后的画面(步骤S41)。

另外，在未进行图像的画质调整的情况下(在步骤S40中“否”)，画面判定部57判断是否根据用户的指示进行了后续处理设定(步骤S42)。例如，在后续处理设定中，包括对片材实施装订、穿孔等加工的设定。在对片材实施装订、穿孔等加工的情况下，由画面更新部54生成用于使用户确认装订位置、穿孔位置等的后续处理设定画面。图14是示出该后续处理设定画面G6的一个例子的图。例如，在由用户将穿孔设定为开启(ON)时，画面更新部54对片材图像66附加表示默认的穿孔位置等的图像分量而更新后续处理设定画面G6。然后，用户通过进行针对后续处理设定画面G6的操作，能够变更默认的穿孔位置而指定为其他位置。但是，针对片材的穿孔位置难以用声音表现。因此，画面判定部57在由用户进行了后续处理设定的情况下(在步骤S42中“是”)，决定为需要使显示部30显示由画面更新部54更新后的画面(步骤S41)。

另外，在未进行后续处理设定的情况下(在步骤S42中“否”)，画面判定部57判断在印刷作业的设定中是否更新为用于进行对印刷对象图像重叠花纹或者水印的设定的画面(步骤S43)。图15是示出进行花纹或者水印的设定的画面G7的一个例子的图。例如，在由用户将花纹或者水印的项目设定为开启时，画面更新部54对片材图像67的预定位置附加默认的图像分量67a而更新画面G7。然后，用户通过进行针对画面G7的操作，能够变更作为花纹或者水印附加的图像、变更印刷花纹或者水印的位置等。但是，难以对针对片材图像67的图像分量67a用声音准确地表现内容、印刷位置。因此，画面判定部57在由用户进行了对印刷对象图像重叠花纹或者水印的设定的情况下(在步骤S43中“是”)，决定为需要使显示部30显示由画面更新部54更新后的画面(步骤S41)。

另外，在未由用户进行花纹或者水印的设定的情况下(在步骤S43中“否”)，画面判定部57判断用户的指示是否是预约作业的取消指示(步骤S44)。在用户的指示是预约作业的取消指示的情况下(在步骤S44中“是”)，画面判定部57进而判断在作业存储部37中是否存储有多个预约作业(步骤S45)。在作业存储部37中存储有多个预约作业的情况下，图像处理装置2需要从这些多个预约作业中确定成为取消对象的预约作业。在该情况下，画面更新部54将应显示于显示部30的画面更新为用于使用户选择成为取消对象的预约作业的画面(例如与图10的作业列表画面G3相同的画面)。因此，画面判定部57在由用户进行了预约作业的取消指示时(在步骤S44中“是”)，如果登记有多个预约作业(在步骤S45中“是”)，则与迁移到图10的作业列表画面G3的情况同样地，决定为需要使显示部30显示由画面更新部54更新后的画面(步骤S41)。

另外，在未由用户进行预约作业的取消指示的情况下(在步骤S44中“否”)，画面判定部57判断用户的指示是否是预约作业的设定变更指示(步骤S46)。在用户的指示是预约作业的设定变更指示的情况下(在步骤S46中“是”)，画面判定部57进而判断在作业存储部37中是否存储有多个预约作业(步骤S47)。在作业存储部37中存储有多个预约作业的情况下，图像处理装置2需要从这些多个预约作业中确定成为设定变更对象的预约作业。在该情况下，画面更新部54将应显示于显示部30的画面更新为用于使用户选择成为设定变更对象的预约作业的画面(例如与图10的作业列表画面G3相同的画面)。因此，画面判定部57在由用户进行了预约作业的设定变更指示时(在步骤S46中“是”)，如果登记有多个预约作业(在步骤S47中“是”)，则与迁移到图10的作业列表画面G3的情况同样地，决定为需要使显示部30显示由画面更新部54更新后的画面(步骤S41)。

另外，在用户的指示并非预约作业的设定变更指示的情况下(在步骤S46中“否”)、或者在作业存储部37中未存储有多个预约作业的情况下(在步骤S47中“否”)，画面判定部57不进行步骤S41的处理。在该情况下，画面判定部57决定为无需使显示部30显示迁移后的画面。以上，画面判定处理(步骤S21)结束。

接下来，图16是示出用户状态判定处理(步骤S24)的详细的处理过程的一个例子的流程图。该处理是由上述用户状态判定部58进行的处理。用户状态判定部58在开始用户状态判定处理(步骤S24)后，判断人感传感器18是否开启(步骤S50)。在人感传感器18是关闭的情况下(在步骤S50中“否”)，在图像处理装置2的正面侧不存在人。因此，如果人感传感器18关闭，则不存在能够对显示部30进行视觉辨认的用户，所以用户状态判定处理结束。相对于此，在人感传感器18开启的情况下(在步骤S50中“是”)，在图像处理装置2的正面侧存在人。在该情况下，用户状态判定部58执行步骤S51及其以后的处理。

在人感传感器18开启的情况下，用户状态判定部58判断搭载于操作面板16的麦克风32是否检测到声音(步骤S51)。此时，用户状态判定部58也可以为了去除周围的噪音而判断麦克风32是否检测到预定音量级别以上的声音。在麦克风32检测到声音的情况下(在步骤S51中“是”)，用户状态判定部58根据从麦克风32输出的声音信息进行声波纹认证(步骤S52)。通过该声波纹认证，判定发出声音的用户是否与登录用户一致。

另外，在麦克风32未检测到声音的情况下(在步骤S51中“否”)，用户状态判定部58使摄像部17进行拍摄动作，从摄像部17取得拍摄图像(步骤S53)。然后，用户状态判定部58从该拍摄图像中抽出用户的面部图像而进行面部认证(步骤S54)。通过该面部认证，判定在拍摄图像中拍摄到的用户是否与登录用户一致。此外，在未能从拍摄图像中抽出面部图像的情况下，在面部认证中未检测到与登录用户一致的用户。

用户状态判定部58在进行声波纹认证或者面部认证时，判断是否检测到与登录用户一致的用户(步骤S55)。在未检测到与登录用户一致的用户的情况下(在步骤S55中“否”)，用户状态判定处理结束。

在检测到与登录用户一致的用户的情况下(在步骤S55中“是”)，用户状态判定部58使摄像部17进行拍摄动作，从摄像部17取得拍摄图像(步骤S56)。但是，在上述步骤S53中已经取得拍摄图像的情况下，也可以跳过步骤S56。用户状态判定部58从从摄像部17取得的拍摄图像中抽出面部图像，解析该面部图像，从而检测用户的视线方向(步骤S57)。另外，用户状态判定部58根据从面板姿势检测部26输出的信息，检测操作面板16的姿势(步骤S58)。通过检测操作面板16的姿势，用户状态判定部58能够确定显示部30的显示方向。然后，用户状态判定部58判断用户的视线方向和显示部30的显示方向是否一致(步骤S59)。即，用户状态判定部58判断显示部30是否以能够视觉辨认的姿势位于用户的视线方向的延长线上。在用户的视线方向和显示部30的显示方向一致的情况下(在步骤S59中“是”)，用户状态判定部58判定为是进行声音操作的用户能够对显示部30进行视觉辨认的状态(步骤S60)。相对于此，在用户的视线方向和显示部30的显示方向不一致的情况下(在步骤S59中“是”)，用户状态判定部58不进行步骤S60的处理。在该情况下，用户状态判定部58判定为并非是进行声音操作的用户能够对显示部30进行视觉辨认的状态。以上，用户状态判定处理(步骤S24)结束。

接下来，图17是示出图像显示处理(步骤S26)的详细的处理过程的一个例子的流程图。该处理是由上述显示控制部55进行的处理。显示控制部55在开始画面显示处理(步骤S26)后，判断在画面存储部38中是否存储有多个画面信息(步骤S70)。例如，在用户经由声音输入装置3对图像处理装置2进行远程操作时，有时对画面存储部38存储多个画面信息。因此，显示控制部55在用户为能够对显示部30进行视觉辨认的状态时，判断在画面存储部38中是否存储有多个画面信息。

在画面存储部38中存储的画面信息仅为1个的情况下(在步骤S70中“否”)，显示控制部55的处理进入到步骤S75。相对于此，在画面存储部38中存储有多个画面信息的情况下(在步骤S70中“是”)，显示控制部55判断是否将这些多个画面信息合成于一个画面(步骤S71)。例如，在画面存储部38中存储的画面的数量是预定数以下的情况下，显示控制部55判断为将多个画面信息合成于一个画面内。相对于此，在画面存储部38中存储的画面的数量超过预定数的情况下，显示控制部55判断为不合成于一个画面。该情况的预定数能够适当地设定，例如也可以预先设定为3个画面左右。

显示控制部55在判断为将多个画面信息合成于一个画面的情况下(在步骤S71中“是”)，从存储于画面存储部38的多个画面信息的各个画面信息中抽出显示对象区域(步骤S72)。例如，如果是预览显示画面G1，则将预览显示的图像部分作为显示对象区域抽出。另外，如果是缩略图显示画面G2，则将缩略图显示区域作为显示对象区域抽出。这样，显示控制部55从画面整体中仅显示并抽出需要用户的确认的区域。然后，显示控制部55生成将在步骤S72中抽出的显示对象区域配置于一个画面内的确认用显示画面(步骤S73)。

图18是示出由显示控制部55生成的确认用显示画面G8的一个例子的图。在图18中，例示了根据预览显示画面G1和作业列表画面G3这2个画面生成确认用显示画面G8的情况。如图18所示，显示控制部55从预览显示画面G1将图像61作为显示对象区域抽出，从作业列表画面G3将作业列表显示区域64作为显示对象区域抽出。然后，显示控制部55生成将图像61和作业列表显示区域64配置于一个画面内的确认用显示画面G8。此时，显示控制部55也可以将图像61和作业列表显示区域64的各个根据需要以缩小并能够配置于一个画面内的方式进行加工。另外，显示控制部55也可以生成能够在上下方向或者左右方向上滚动的确认用显示画面G8，不缩小多个显示对象区域而进行配置。

另外，显示控制部55在判断为不将多个画面信息合成于一个画面的情况下(在步骤S71中“否”)，决定存储于画面存储部38的多个画面信息的显示顺序(步骤S74)。此时，显示控制部55例如也可以决定优先地读出对画面存储部38最后存储的画面信息的显示顺序。在该情况下，用户能够从反映了最近的操作的画面起依次进行确认作业。但是，不限于此，显示控制部55也可以按照存储于画面存储部38的顺序决定显示顺序。

接下来，显示控制部55判断是否进行针对画面的强调显示(步骤S75)。例如，预先设定是否进行针对画面的强调显示。显示控制部55根据该设定判断是否进行强调显示。在不进行强调显示的情况下(在步骤S75中“否”)，显示控制部55的处理进入到步骤S78。相对于此，在进行强调显示的情况下(在步骤S75中“是”)，显示控制部55确定强调对象区域(步骤S76)。例如，显示控制部55在画面内将用户应关注的区域确定为强调对象区域。然后，显示控制部55对确定的强调对象区域实施强调处理(步骤S77)。

图19是示出针对画面的强调处理的概念的图。例如如图19的(a)所示，在对包含于预览显示画面G1的图像61进行了基于用户的指示的画质调整的情况下，显示控制部55将在图像61中进行了画质调整的部分确定为强调对象区域。然后，显示控制部55对该强调对象区域的外缘实施赋予粗线等的强调处理，生成用户易于关注的画面。

另外，例如如图19的(b)所示，在用户A指示了预约作业的取消的情况下，显示控制部55将显示包含于作业列表画面G3的多个预约作业中的由用户A登记的预约作业的区域确定为强调对象区域。此时，还有时从画面内确定多个强调对象区域。另外，显示控制部55对确定的强调对象区域的外缘实施赋予粗框等的强调处理，生成用户易于关注的画面。

接下来，显示控制部55进行将如上所述得到的画面显示于显示部30的处理(步骤S78)。例如，在显示部30的画面显示功能停止的情况下，显示控制部55在步骤S78中使显示部30的画面显示功能有效地动作，使显示部30显示需要用户的确认的画面。另外，例如在步骤S74中决定了显示顺序的情况下，显示控制部55根据该显示顺序，针对每一定时间，更新显示于显示部30的画面。

通过在步骤S78中在显示部30上显示画面，用户能够确认根据自己的声音操作更新后的画面，即便是在利用声音的反馈中未准确地传递的信息，也能够通过确认画面而简单地掌握。

这样，本实施方式的信息处理系统1在用户利用声音对图像处理装置2进行远程操作时，在执行基于用户的声音操作的处理时，将该处理的结果利用声音反馈给用户。但是，在利用声音的反馈中，有时无法准确地将处理的结果传递给用户。因此，信息处理系统1根据用户的声音操作，逐步更新应显示于显示部30的画面，判定是否需要使显示部30显示更新的画面而让用户确认画面的内容。然后，信息处理系统1在判定为需要让用户确认画面的内容时，对用户提醒对画面进行确认，对于显示部30，显示反映了声音操作的内容的画面。根据这样的信息处理系统1，在进行用户的声音操作时，即使在对用户难以进行利用声音的反馈的情况下，也能够对用户通过画面显示准确地传递应反馈的信息。

此外，图像处理装置2也可以在用户能够对显示部30进行视觉辨认的状态下受理用户的声音操作时，将声音的输入源从声音输入装置3切换为搭载于操作面板16的麦克风32。

(第2实施方式)

接下来，说明本发明的第2实施方式。图20是示出作为本发明的第2实施方式的信息处理系统1的一个结构例的图。图20所示的信息处理系统1是图像处理装置2、声音输入装置3以及服务器5经由网络4可通信地连接的结构。

在本实施方式中，服务器5具备在第1实施方式中说明的图像处理装置2的一部分的功能。例如，服务器5具备在第1实施方式中说明的画面判定部57的功能。声音输入装置3在检测到用户的声音时，生成基于该声音的声音信息，发送给图像处理装置2和服务器5。服务器5在从声音输入装置3接收到声音信息时，判定是否是针对图像处理装置2的声音操作，在是声音操作的情况下使画面判定部57发挥功能。服务器5通过使画面判定部57发挥功能，判定是否需要使显示部30显示在图像处理装置2的画面更新部54中更新的画面。然后，服务器5将画面判定部57的判定结果发送给图像处理装置2。

另一方面，图像处理装置2未具备画面判定部57的功能。该图像处理装置2在从声音输入装置3接收到声音信息时，判定是否是声音操作，在是声音操作的情况下进行反映该声音操作的内容的处理。此时，在图像处理装置2中画面更新部54发挥功能，应显示于显示部30的画面被更新。然后，显示控制部55根据从服务器5发送的判定结果，判断是否使显示部30显示由画面更新部54更新后的画面。在服务器5中判定为需要使显示部30显示画面的情况下，显示控制部55在用户成为能够对显示部30进行视觉辨认的状态时，使显示部30显示由画面更新部54更新后的画面。

这样，本实施方式的信息处理系统1构成为在服务器5中判定是否需要画面显示，所以具有能够减轻图像处理装置2的处理负担这样的优点。

另外，服务器5也可以除了具备画面判定部57的功能以外，还具备画面更新部54的功能。在该情况下，服务器5能够根据从声音输入装置3接收的声音信息，更新应显示于显示部30的画面。因此，在接近与用户进行远程操作的图像处理装置2不同的图像处理装置2并开始了针对操作面板16的操作的情况下，服务器5能够对用户操作的图像处理装置2发送更新后的画面信息，显示于显示部30。因此，用户能够利用与自己所处的场所近的图像处理装置2确认声音操作的内容，便利性提高。

此外，在本实施方式中，关于上述点以外，与在第1实施方式中说明相同。

(第3实施方式)

接下来，说明本发明的第3实施方式。图21是示出作为本发明的第3实施方式的信息处理系统1的一个结构例的图。图21所示的信息处理系统1由图像处理装置2构成。即，图像处理装置2在操作面板16中搭载有麦克风32，能够将该麦克风32检测的用户的声音作为声音操作受理。因此，即使在如在第1实施方式中说明的那样未具备声音输入装置3的情况下，图像处理装置2也能够以其单独结构构成信息处理系统1而进行在第1实施方式中说明的动作。

(变形例)

以上，说明了本发明的几个优选的实施方式。但是，本发明不限定于在上述各实施方式中说明的内容而能够应用各种变形例。

例如，在上述实施方式中，例示了图像处理装置2由具有扫描功能、打印功能、拷贝功能、传真功能、盒功能、电子邮件发送接收功能等多个功能的MFP构成的情况。但是，图像处理装置2不限定于MFP。例如，图像处理装置2也可以是仅具备打印功能的打印机、仅具备扫描功能的扫描仪、仅具备传真功能的传真装置等。另外，图像处理装置2也可以是具备与扫描功能、打印功能、拷贝功能、传真功能、盒功能、电子邮件发送接收功能等不同的功能的装置。

另外，在上述实施方式中，例示了声音输入装置3是被称为AI扬声器等的装置的情况。但是，声音输入装置3不限于此。例如，声音输入装置3也可以是智能手机、平板终端等用户能够携带的装置。

另外，在上述实施方式中，例示了将控制部20的CPU21所执行的程序35预先储存于存储装置28的情况。但是，也可以是程序35例如经由通信接口23等而安装于图像处理装置2的情况。在该情况下，以能够经由因特网等下载的方式提供程序35。另外，不限于此，也可以以记录到CD-ROM、USB存储器等计算机可读取的记录介质的方式提供程序35。

Claims (51)

1.一种信息处理系统，其特征在于，具备：

显示单元；

声音操作受理单元，将用户的声音作为声音操作受理；

画面更新单元，根据由所述声音操作受理单元受理的声音操作，更新使所述显示单元显示的画面；

画面判定单元，判定是否使所述显示单元显示由所述画面更新单元更新后的画面；以及

显示控制单元，在由所述画面判定单元判定为使所述显示单元显示更新后的画面的情况下，使所述显示单元显示由所述画面更新单元更新后的画面。

2.根据权利要求1所述的信息处理系统，其特征在于，

还具备引导单元，在由所述画面判定单元判定为使所述显示单元显示更新后的画面的情况下，该引导单元进行对用户提醒确认显示于所述显示单元的画面的声音引导。

3.根据权利要求1或者2所述的信息处理系统，其特征在于，

所述画面判定单元根据由所述声音操作受理单元受理的声音操作，确定由所述画面更新单元更新的画面的显示内容，根据该显示内容，判定是否使所述显示单元显示由所述画面更新单元更新后的画面。

4.根据权利要求1至3中的任意一项所述的信息处理系统，其特征在于，

在由所述画面更新单元更新的画面是进行图像的预览显示的画面的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

5.根据权利要求1至3中的任意一项所述的信息处理系统，其特征在于，

还具备存储电子文件的文件存储单元，

在由所述画面更新单元更新的画面是进行存储于所述文件存储单元的所述电子文件的缩略图显示的画面的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

6.根据权利要求1至3中的任意一项所述的信息处理系统，其特征在于，

还具备进行图像的画质调整的图像处理单元，

在由所述画面更新单元更新的画面是显示由所述图像处理单元进行画质调整后的图像的画面的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

7.根据权利要求1至3中的任意一项所述的信息处理系统，其特征在于，还具备：

印刷单元，对片材进行印刷；以及

后续处理单元，对由所述印刷单元印刷后的片材的指定的位置进行后续处理，

在由所述画面更新单元更新的画面是对由所述后续处理单元进行后续处理的位置进行指定的画面的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

8.根据权利要求1至3中的任意一项所述的信息处理系统，其特征在于，

还具备对片材进行印刷的印刷单元，

在由所述画面更新单元更新的画面是用于进行在所述印刷单元进行印刷时重叠花纹或者水印的设定的画面的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

9.根据权利要求1至3中的任意一项所述的信息处理系统，其特征在于，

在由所述画面更新单元更新的画面是对多个作业进行一览显示的作业列表画面的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

10.根据权利要求1至3中的任意一项所述的信息处理系统，其特征在于，

在由所述画面更新单元更新的画面是对多个地址进行一览显示的地址选择画面的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

11.根据权利要求1至3中的任意一项所述的信息处理系统，其特征在于，

还具备对预约作业进行登记并管理的作业管理单元，

在多个预约作业被所述作业管理单元管理的状态下，在由所述画面更新单元更新的画面是从所述多个预约作业中选择成为取消对象的预约作业的画面的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

12.根据权利要求1至3中的任意一项所述的信息处理系统，其特征在于，

还具备对预约作业进行登记并管理的作业管理单元，

在多个预约作业被所述作业管理单元管理的状态下，在由所述画面更新单元更新的画面是从所述多个预约作业中选择成为设定变更对象的预约作业的画面的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

13.根据权利要求1至3中的任意一项所述的信息处理系统，其特征在于，

在由所述画面更新单元更新的画面中包括预定数以上的字符或者字符串的情况下，所述画面判定单元判定为使所述显示单元显示由所述画面更新单元更新后的画面。

14.根据权利要求1至13中的任意一项所述的信息处理系统，其特征在于，

还具备用户状态判定单元，在由所述画面判定单元判定为使所述显示单元显示更新后的画面的情况下，该用户状态判定单元判定是否是发出作为声音操作受理的声音的用户能够对所述显示单元进行视觉辨认的状态，

与由所述用户状态判定单元判定为是用户能够对所述显示单元进行视觉辨认的状态相伴地，所述显示控制单元使所述显示单元显示由所述画面更新单元更新后的画面。

15.根据权利要求14所述的信息处理系统，其特征在于，

还具备在所述显示单元的附近配置的声音输入单元，

所述用户状态判定单元根据由所述声音输入单元检测的声音，判定是否是用户能够对所述显示单元进行视觉辨认的状态。

16.根据权利要求14或者15所述的信息处理系统，其特征在于，

还具备在所述显示单元的附近配置的人感传感器，

所述用户状态判定单元根据来自所述人感传感器的输出信号，判定是否是用户能够对所述显示单元进行视觉辨认的状态。

17.根据权利要求14至16中的任意一项所述的信息处理系统，其特征在于，

还具备在所述显示单元的附近配置的摄像单元，

所述用户状态判定单元根据由所述摄像单元拍摄的图像，判定是否是用户能够对所述显示单元进行视觉辨认的状态。

18.根据权利要求17所述的信息处理系统，其特征在于，

所述用户状态判定单元从由所述摄像单元拍摄到的图像抽出用户的面部图像，根据所述面部图像确定用户的视线方向，在用户的视线方向与所述显示单元的设置方向一致的情况下，判定为是用户能够对所述显示单元进行视觉辨认的状态。

19.根据权利要求18所述的信息处理系统，其特征在于，

所述显示单元能够使姿势变化，

在根据所述面部图像确定的用户的视线方向与和所述显示单元的姿势对应的显示方向一致的情况下，所述用户状态判定单元判定为是用户能够对所述显示单元进行视觉辨认的状态。

20.根据权利要求1至19中的任意一项所述的信息处理系统，其特征在于，

还具备画面存储单元，该画面存储单元存储由所述画面更新单元更新后的画面，

在由所述画面判定单元判定为使所述显示单元显示更新后的画面的情况下，所述显示控制单元将由所述画面更新单元更新后的画面从所述画面存储单元读出并使所述显示单元显示。

21.根据权利要求20所述的信息处理系统，其特征在于，

在所述画面存储单元中存储有多个画面时，所述显示控制单元使所述显示单元依次显示所述多个画面。

22.根据权利要求20或者21所述的信息处理系统，其特征在于，

在所述画面存储单元中存储有多个画面时，所述显示控制单元将最后存储到所述画面存储单元的画面优先地读出并使所述显示单元显示。

23.根据权利要求20所述的信息处理系统，其特征在于，

在所述画面存储单元中存储有多个画面时，所述显示控制单元从所述多个画面的各个画面切出至少一部分的画面构成要素，使所述显示单元显示将所述画面构成要素合成于一个画面内的画面。

24.根据权利要求1至23中的任意一项所述的信息处理系统，其特征在于，

所述显示控制单元在使所述显示单元显示由所述画面更新单元更新后的画面时，使由所述画面更新单元更新后的画面的至少一部分强调显示。

25.根据权利要求1至24中的任意一项所述的信息处理系统，其特征在于，

所述信息处理系统由执行由用户指定的作业的图像处理装置构成。

26.根据权利要求1至24中的任意一项所述的信息处理系统，其特征在于，

所述信息处理系统是图像处理装置和声音输入装置能够相互通信的结构，其中，所述图像处理装置执行由用户指定的作业，所述声音输入装置检测用户的声音，

所述图像处理装置具备所述显示单元、所述声音操作受理单元、所述画面更新单元、所述画面判定单元以及所述显示控制单元，

所述声音输入装置将用户的声音输出到所述图像处理装置。

27.根据权利要求1至24中的任意一项所述的信息处理系统，其特征在于，

所述信息处理系统是图像处理装置、声音输入装置以及服务器能够相互通信的结构，其中，所述图像处理装置执行由用户指定的作业，所述声音输入装置检测用户的声音，

所述服务器具备所述画面判定单元，根据由所述声音输入装置检测的用户的声音，判定是否使所述显示单元显示由所述画面更新单元更新后的画面，

所述图像处理装置具备所述显示单元、所述声音操作受理单元、所述画面更新单元以及所述显示控制单元，

所述显示控制单元根据所述服务器中的判定结果，使所述显示单元显示由所述画面更新单元更新后的画面。

28.一种计算机可读取的记录介质，记录有在具备显示单元的计算机中执行的程序，其特征在于，

所述程序使所述计算机执行如下步骤：

声音操作受理步骤，将用户的声音作为声音操作受理；

画面更新步骤，根据通过所述声音操作受理步骤受理的声音操作，更新使所述显示单元显示的画面；

画面判定步骤，判定是否使所述显示单元显示通过所述画面更新步骤更新后的画面；以及

显示控制步骤，在通过所述画面判定步骤判定为使所述显示单元显示更新后的画面的情况下，使所述显示单元显示通过所述画面更新步骤更新后的画面。

29.根据权利要求28所述的计算机可读取的记录介质，其特征在于，

所述程序使所述计算机还执行引导步骤，

在该引导步骤中，在通过所述画面判定步骤判定为使所述显示单元显示更新后的画面的情况下，进行对用户提醒确认显示于所述显示单元的画面的声音引导。

30.根据权利要求28或者29所述的计算机可读取的记录介质，其特征在于，

在所述画面判定步骤中，根据通过所述声音操作受理步骤受理的声音操作，确定通过所述画面更新步骤更新的画面的显示内容，根据该显示内容，判定是否使所述显示单元显示通过所述画面更新步骤更新后的画面。

31.根据权利要求28至30中的任意一项所述的计算机可读取的记录介质，其特征在于，

在所述画面判定步骤中，在通过所述画面更新步骤更新的画面是进行图像的预览显示的画面的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

32.根据权利要求28至30中的任意一项所述的计算机可读取的记录介质，其特征在于，

所述计算机还具备存储电子文件的文件存储单元，

在所述画面判定步骤中，在通过所述画面更新步骤更新的画面是进行存储于所述文件存储单元的所述电子文件的缩略图显示的画面的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

33.根据权利要求28至30中的任意一项所述的计算机可读取的记录介质，其特征在于，

所述计算机还具备进行图像的画质调整的图像处理单元，

在所述画面判定步骤中，在通过所述画面更新步骤更新的画面是显示由所述图像处理单元进行画质调整后的图像的画面的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

34.根据权利要求28至30中的任意一项所述的计算机可读取的记录介质，其特征在于，

所述计算机还具备：

印刷单元，对片材进行印刷；以及

后续处理单元，对由所述印刷单元印刷后的片材的指定的位置进行后续处理，

在所述画面判定步骤中，在通过所述画面更新步骤更新的画面是对由所述后续处理单元进行后续处理的位置进行指定的画面的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

35.根据权利要求28至30中的任意一项所述的计算机可读取的记录介质，其特征在于，

所述计算机还具备对片材进行印刷的印刷单元，

在所述画面判定步骤中，在通过所述画面更新步骤更新的画面是用于进行在所述印刷单元进行印刷时重叠花纹或者水印的设定的画面的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

36.根据权利要求28至30中的任意一项所述的计算机可读取的记录介质，其特征在于，

在所述画面判定步骤中，在通过所述画面更新步骤更新的画面是对多个作业进行一览显示的作业列表画面的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

37.根据权利要求28至30中的任意一项所述的计算机可读取的记录介质，其特征在于，

在所述画面判定步骤中，在通过所述画面更新步骤更新的画面是对多个地址进行一览显示的地址选择画面的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

38.根据权利要求28至30中的任意一项所述的计算机可读取的记录介质，其特征在于，

所述计算机还具备对预约作业进行登记并管理的作业管理单元，

在所述画面判定步骤中，在多个预约作业被所述作业管理单元管理的状态下，在通过所述画面更新步骤更新的画面是从所述多个预约作业中选择成为取消对象的预约作业的画面的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

39.根据权利要求28至30中的任意一项所述的计算机可读取的记录介质，其特征在于，

所述计算机还具备对预约作业进行登记并管理的作业管理单元，

在所述画面判定步骤中，在多个预约作业被所述作业管理单元管理的状态下，在通过所述画面更新步骤更新的画面是从所述多个预约作业中选择成为设定变更对象的预约作业的画面的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

40.根据权利要求28至30中的任意一项所述的计算机可读取的记录介质，其特征在于，

在所述画面判定步骤中，在通过所述画面更新步骤更新的画面中包括预定数以上的字符或者字符串的情况下，判定为使所述显示单元显示通过所述画面更新步骤更新后的画面。

41.根据权利要求28至40中的任意一项所述的计算机可读取的记录介质，其特征在于，

所述程序使所述计算机还执行用户状态判定步骤，

在该用户状态判定步骤中，在通过所述画面判定步骤判定为使所述显示单元显示更新后的画面的情况下，判定是否是发出作为声音操作受理的声音的用户能够对所述显示单元进行视觉辨认的状态，

在所述显示控制步骤中，与通过所述用户状态判定步骤判定为是用户能够对所述显示单元进行视觉辨认的状态相伴地，使所述显示单元显示通过所述画面更新步骤更新后的画面。

42.根据权利要求41所述的计算机可读取的记录介质，其特征在于，

所述计算机还具备在所述显示单元的附近配置的声音输入单元，

在所述用户状态判定步骤中，根据由所述声音输入单元检测的声音，判定是否是用户能够对所述显示单元进行视觉辨认的状态。

43.根据权利要求41或者42所述的计算机可读取的记录介质，其特征在于，

所述计算机还具备在所述显示单元的附近配置的人感传感器，

在所述用户状态判定步骤中，根据来自所述人感传感器的输出信号，判定是否是用户能够对所述显示单元进行视觉辨认的状态。

44.根据权利要求41至43中的任意一项所述的计算机可读取的记录介质，其特征在于，

所述计算机还具备在所述显示单元的附近配置的摄像单元，

在所述用户状态判定步骤中，根据由所述摄像单元拍摄的图像，判定是否是用户能够对所述显示单元进行视觉辨认的状态。

45.根据权利要求44所述的计算机可读取的记录介质，其特征在于，

在所述用户状态判定步骤中，从由所述摄像单元拍摄到的图像抽出用户的面部图像，根据所述面部图像确定用户的视线方向，在用户的视线方向与所述显示单元的设置方向一致的情况下，判定为是用户能够对所述显示单元进行视觉辨认的状态。

46.根据权利要求45所述的计算机可读取的记录介质，其特征在于，

所述显示单元能够使姿势变化，

在所述用户状态判定步骤中，在根据所述面部图像确定的用户的视线方向与和所述显示单元的姿势对应的显示方向一致的情况下，判定为是用户能够对所述显示单元进行视觉辨认的状态。

47.根据权利要求28至46中的任意一项所述的计算机可读取的记录介质，其特征在于，

所述计算机还具备画面存储单元，该画面存储单元存储通过所述画面更新步骤更新后的画面，

在所述显示控制步骤中，在通过所述画面判定步骤判定为使所述显示单元显示更新后的画面的情况下，将通过所述画面更新步骤更新后的画面从所述画面存储单元读出并使所述显示单元显示。

48.根据权利要求47所述的计算机可读取的记录介质，其特征在于，

在所述显示控制步骤中，在所述画面存储单元中存储有多个画面时，使所述显示单元依次显示所述多个画面。

49.根据权利要求47或者48所述的计算机可读取的记录介质，其特征在于，

在所述显示控制步骤中，在所述画面存储单元中存储有多个画面时，将最后存储到所述画面存储单元的画面优先地读出并使所述显示单元显示。

50.根据权利要求47所述的计算机可读取的记录介质，其特征在于，

在所述显示控制步骤中，在所述画面存储单元中存储有多个画面时，从所述多个画面的各个画面切出至少一部分的画面构成要素，使所述显示单元显示将所述画面构成要素合成于一个画面内的画面。

51.根据权利要求28至50中的任意一项所述的计算机可读取的记录介质，其特征在于，

在所述显示控制步骤中，在使所述显示单元显示通过所述画面更新步骤更新后的画面时，使通过所述画面更新步骤更新后的画面的至少一部分强调显示。

Images