CN110177185A - 图像处理装置、图像处理装置的控制方法及记录介质 - Google Patents

Abstract

提供图像处理装置及其控制方法及记录介质。提供能够恰当地检测与多个操作画面相关的多个声音操作命令之中的与用户的声音输入对应的一个声音操作命令。MFP获取与在将操作画面显示于触摸面板的状态下发出的声音相关的声音辨识结果(声音辨识数据)，决定搜索对象字符串。MFP首先执行将包含与画面相关的声音操作命令组和与根据对画面的用户操作而显示的画面相关的声音操作命令组的多个声音操作命令之中的被赋予了第一顺位的优先顺位的第一命令组作为搜索范围的第一搜索处理。在由第一搜索处理未检测到搜索对象字符串的情况下，执行将多个声音操作命令之中的被赋予了第二顺位的优先顺位的第二命令组作为搜索范围的第二搜索处理。

Description

图像处理装置、图像处理装置的控制方法及记录介质

技术领域

本发明涉及MFP(多功能外围设备(Multi-Functional Peripheral))等的图像处理装置以及与其关联的技术。

背景技术

在MFP等中，存在通过声音赋予操作指示的技术。具体而言，当使操作者的声音作为声音数据输入时，执行对该声音数据的声音辨识处理，作为声音辨识处理的处理结果，获取声音辨识数据(将声音文本数据化后的数据)。然后，在确认该声音辨识数据(文本数据)与预先登记的多个声音操作命令(文本数据)之中的一个声音操作命令一致之后，执行与该一个声音操作命令对应的动作(换言之，是预先分配给该一个声音操作命令的动作)。作为这样的技术，例如，存在专利文献1所记载的技术。

在专利文献1所记载的技术中，执行如下处理：将与当前的层级的画面对应而预先制定的关键字组(声音操作命令组)作为搜索范围，在该搜索范围中搜索声音数据的辨识结果的声音辨识数据。

现有技术文献

专利文献

专利文献1：日本特开2011-049705号公报

发明内容

不过，在MFP等的图像处理装置中，有时当前的层级的画面与该画面的调用源的其它画面(也称为调用源的画面)一起被显示(换言之，使最新调用出的画面重叠显示于其调用源的画面)等。

然而，在专利文献1所记载的技术中，在上述那样的情况下，由于仅将与当前的层级的画面对应而预先制定的关键字组(声音操作命令组)作为声音辨识数据的搜索范围，因此无法赋予当前的层级的画面以外的画面(调用源的画面等)内的操作按钮的指示。换言之，由于声音辨识数据的搜索范围始终固定于与两个操作画面之中的一方的层级画面(在此是当前的层级画面)相关的声音操作命令组，因此无法检测与该两个操作画面之中的其它层级画面相关的声音操作命令。

因此，本发明的课题在于提供能够恰当地检测与多个操作画面相关的多个声音操作命令之中的与用户的声音输入对应的一个声音操作命令的技术。

为了解决上述课题，技术方案1的发明是一种图像处理装置，其特征在于，具备：显示单元；获取单元，获取作为与在至少一个操作画面显示于所述显示单元的状态下发出的声音相关的声音辨识结果的声音辨识数据；决定单元，基于所述声音辨识数据来决定搜索对象字符串；搜索单元，执行对多个声音操作命令之中的与所述搜索对象字符串一致的一个声音操作命令进行搜索的搜索处理，该多个声音操作命令包含与和所述图像处理装置相关的第一画面相关的声音操作命令组和与根据对所述第一画面的用户操作而显示的第二画面相关的声音操作命令组；以及命令执行单元，执行与由所述搜索单元搜索到的所述一个声音操作命令对应的处理，所述搜索单元执行第一搜索处理，在该第一搜索处理中，将所述多个声音操作命令之中的被赋予了第一顺位的搜索优先顺位的第一命令组作为搜索范围，在通过将所述第一命令组作为搜索范围的所述第一搜索处理未检测到所述搜索对象字符串的情况下，所述搜索单元执行第二搜索处理，在该第二搜索处理中，将所述多个声音操作命令之中的被赋予了第二顺位的搜索优先顺位的第二命令组作为搜索范围，所述第一命令组是与第一优先画面相关的声音操作命令组，该第一优先画面是所述第一画面和所述第二画面这两个操作画面之中的在所述声音的发出时正在显示中的画面且是在所述声音的发出时之前最新调用出的画面，所述第二命令组是与第二优先画面相关的声音操作命令组，该第二优先画面是所述两个操作画面之中的和所述第一优先画面不同的画面。

技术方案2的发明在技术方案1的发明的图像处理装置中，其特征在于，所述第一优先画面是根据对所述第一画面的用户操作而在所述声音的发出时显示的所述第二画面，所述第二优先画面是所述第一画面。

技术方案3的发明在技术方案2的发明的图像处理装置中，其特征在于，所述两个操作画面是彼此不同的层级的画面，所述获取单元获取与在将所述两个操作画面的双方显示于所述显示单元的状态下发出的所述声音相关的所述声音辨识结果。

技术方案4的发明在技术方案3的发明的图像处理装置中，其特征在于，所述获取单元获取与在将所述两个操作画面的双方显示于所述显示单元且所述第一画面的至少一部分被所述第二画面遮挡地显示的状态下发出的所述声音相关的所述声音辨识结果，所述搜索单元在从与所述第一画面对应的所述第二命令组排除了与被所述第二画面遮挡的显示要素对应的命令的状态下，执行与所述第二命令组相关的所述第二搜索处理。

技术方案5的发明在技术方案3的发明的图像处理装置中，其特征在于，所述获取单元获取与在将所述两个操作画面的双方显示于所述显示单元且所述第一画面的至少一部分被所述第二画面遮挡地显示的状态下发出的所述声音相关的所述声音辨识结果，所述图像处理装置进一步地具备设定单元，该设定单元设定在与所述第二命令组相关的所述第二搜索处理的执行时是否将与被所述第二画面遮挡的显示要素对应的命令从与所述第一画面对应的所述第二命令组排除，所述搜索单元基于所述设定单元的设定内容来执行与所述第二命令组相关的所述第二搜索处理。

技术方案6的发明在技术方案2的发明的图像处理装置中，其特征在于，所述显示单元依次显示所述两个操作画面，所述获取单元获取与在所述显示单元中未显示所述两个操作画面之中的所述第一画面且显示有所述第二画面的状态下发出的所述声音相关的所述声音辨识结果。

技术方案7的发明在技术方案1的发明的图像处理装置中，其特征在于，所述显示单元依次显示所述两个操作画面，所述获取单元获取与在所述显示单元中显示有所述两个操作画面之中的所述第一画面且还未显示所述第二画面的状态下发出的所述声音相关的所述声音辨识结果，所述第一优先画面是作为所述第二画面的调用源的画面的在所述声音的发出时显示的所述第一画面，所述第二优先画面是在所述声音的发出时还未显示的、根据对所述第一画面的用户操作而显示的所述第二画面。

技术方案8的发明在技术方案7的发明的图像处理装置中，其特征在于，还具备设定单元，设定是否执行所述第二搜索处理，在该第二搜索处理中，将作为与在所述声音的发出时还未显示的所述第二画面相关的命令组的所述第二命令组作为搜索范围，所述搜索单元将设定了执行将所述第二命令组作为搜索范围的所述第二搜索处理的意思作为条件，执行所述第二搜索处理。

技术方案9的发明在技术方案7或8的发明的图像处理装置中，其特征在于，在从所述第二命令组中检测到与所述搜索对象字符串一致的所述一个声音操作命令的情况下，所述显示单元确定用于进行显示包含与所述一个声音操作命令对应的操作键的所述第二画面的操作的第一操作键，并使所述第一操作键的操作事件产生，从而显示所述第二画面。

技术方案10的发明在技术方案9的发明的图像处理装置中，其特征在于，所述显示单元执行对第二操作键进行强调显示的显示处理，该第二操作键是包含于根据所述第一操作键的所述操作事件的产生而显示的所述第二画面内的多个操作键之中的与所述一个声音操作命令对应的操作键，所述命令执行单元通过产生所述第二操作键的操作事件而执行对应于所述一个声音操作命令的处理。

技术方案11的发明在技术方案2的发明的图像处理装置中，其特征在于，在所述第二画面是通知警告的警告画面的情况下，即使在通过所述第一搜索处理未检测到所述搜索对象字符串时，至少在解除所述警告之前，所述搜索单元都不执行将所述第二命令组作为搜索范围的所述第二搜索处理，其中，该第一搜索处理将作为与所述第二画面相关的声音操作命令组的所述第一命令组作为搜索范围。

技术方案12的发明在技术方案1至11中的任意一项的图像处理装置中，其特征在于，所述搜索单元将基于所述图像处理装置的任务执行状态而判定为不能执行的操作命令从所述第一命令组和/或所述第二命令组排除，从而执行所述搜索处理。

技术方案13的发明在技术方案1至11中的任意一项的图像处理装置中，其特征在于，所述搜索单元将基于所述图像处理装置中的用户验证状态而判定为不能执行的操作命令从所述第一命令组和/或所述第二命令组排除，从而执行所述搜索处理。

技术方案14的发明在技术方案1至13中的任意一项的图像处理装置中，其特征在于，所述搜索单元按照赋予给包含于所述第一命令组的两个以上的操作命令的各个操作命令的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理，并且将所述两个以上的操作命令之中最先与所述搜索对象字符串一致的操作命令确定为所述一个声音操作命令，从而执行与所述第一命令组相关的所述第一搜索处理，所述命令执行单元执行和所述两个以上的操作命令之中的最先与所述搜索对象字符串一致的所述一个声音操作命令对应的处理。

技术方案15的发明在技术方案14的图像处理装置中，其特征在于，所述搜索单元在与所述第一命令组相关的所述第一搜索处理中，按照对包含于所述第一命令组的所述两个以上的操作命令的各个操作命令预先制定的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理。

技术方案16的发明在技术方案14的图像处理装置中，其特征在于，所述搜索单元在与所述第一命令组相关的所述第一搜索处理中按照赋予给包含于所述第一命令组的所述两个以上的操作命令的各个操作命令的、基于在所述第一优先画面内的对应操作键的显示位置而决定的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理。

技术方案17的发明在技术方案14的图像处理装置中，其特征在于，所述搜索单元在与所述第一命令组相关的所述第一搜索处理中按照赋予给包含于所述第一命令组的所述两个以上的操作命令的各个操作命令的、反映出所述图像形成装置的任务执行状态的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理。

技术方案18的发明在技术方案14的图像处理装置中，其特征在于，所述搜索单元在与所述第一命令组相关的所述第一搜索处理中按照赋予给包含于所述第一命令组的所述两个以上的操作命令的各个操作命令的、反映出所述图像形成装置中的用户验证状态的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理。

技术方案19的发明在技术方案14的图像处理装置中，其特征在于，所述搜索单元在与所述第一命令组相关的所述第一搜索处理中，按照赋予给包含于所述第一命令组的所述两个以上的操作命令的各个操作命令的、反映出与所述两个以上的操作命令的各个操作命令相关的使用履历的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理。

技术方案20的发明在技术方案14的图像处理装置中，其特征在于，所述搜索单元按照赋予给包含于所述第一命令组的所述两个以上的操作命令的各个操作命令的、反映出与所述两个以上的操作命令的各个操作命令对应的各操作键的使用履历的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理。

技术方案21的发明在技术方案14至20中的任意一项的图像处理装置中，其特征在于，在判定为所述图像处理装置的负荷在一定程度以上的情况下，所述搜索单元将具有比规定程度小的优先级的操作命令从所述第一命令组排除，从而执行与所述第一命令组相关的所述第一搜索处理。

技术方案22的发明在技术方案1至13中的任意一项的图像处理装置中，其特征在于，所述搜索单元按照赋予给包含于所述第二命令组的两个以上的操作命令的各个操作命令的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理，并且将所述两个以上的操作命令之中的最先与所述搜索对象字符串一致的操作命令确定为所述一个声音操作命令，从而执行与所述第二命令组相关的所述第二搜索处理，所述命令执行单元执行和所述两个以上的操作命令之中的最先与所述搜索对象字符串一致的所述一个声音操作命令对应的处理。

技术方案23的发明在技术方案1至22中的任意一项的图像处理装置中，其特征在于，还具备接受单元，在与所述第一命令组相关的所述第一搜索处理中，在从所述一个命令组中检测到与所述搜索对象字符串一致的两个以上的命令的情况下，该接受单元接受与该两个以上的命令对应的多个选项中的用户期望的选项的选择，所述搜索单元基于由所述接受单元接受到的所述期望的选项来决定所述一个声音操作命令，所述命令执行单元执行与所述两个以上的命令之中的所述一个声音操作命令对应的处理。

技术方案24的发明在技术方案1至23中的任意一项的图像处理装置中，其特征在于，还具备保存单元，保存预先登记有与所述第一画面相关的声音操作命令组和与所述第二画面相关的声音操作命令组的命令词典，所述搜索单元基于所述命令词典获取所述第一命令组并执行所述第一搜索处理，基于所述命令词典获取所述第二命令组并执行所述第二搜索处理。

技术方案25的发明在技术方案1至23中的任意一项的图像处理装置中，其特征在于，还具备字符辨识单元，执行对包含于所述操作画面的图像的字符进行辨识的字符辨识处理，所述搜索单元基于与所述第一画面和所述第二画面分别相关的字符辨识处理的处理结果来确定所述第一命令组和所述第二命令组，从而执行所述搜索处理。

技术方案26的发明在技术方案3至5中的任意一项的图像处理装置中，其特征在于，还具备字符辨识单元，执行对包含于所述操作画面的图像的字符进行辨识的字符辨识处理，所述显示单元从显示有包含所述第一画面且不包含所述第二画面的第一图像的第一显示状态转变到显示有包含所述第一画面且也包含所述第二画面的第二图像的第二显示状态，所述搜索单元生成所述第一显示状态下的所述第一图像和所述第二显示状态下的所述第二图像的差分图像，基于对该差分图像的字符辨识处理的处理结果，确定与所述第二画面相关的命令组，从而执行所述搜索处理。

技术方案27的发明在技术方案1至26中的任意一项的图像处理装置中，其特征在于，所述显示单元将作为包含于所述声音辨识数据的字符串之中的与所述一个声音操作命令一致的字符串而搜索到的字符串，作为所述搜索处理的处理结果来显示。

技术方案28的发明在技术方案1至27中的任意一项的图像处理装置中，其特征在于，所述显示单元将包含于所述声音辨识数据的字符串之中的与所述多个声音操作命令的任意声音操作命令均不一致的字符串，作为所述搜索处理的处理结果来显示。

技术方案29的发明在技术方案1至28中的任意一项的图像处理装置中，其特征在于，所述显示单元示出与由所述搜索处理检测到的所述一个声音操作命令对应的显示要素的画面内位置。

技术方案30的发明是一种控制方法，用于控制图像处理装置，其特征在于具备：步骤a)，获取作为与在将至少一个操作画面显示于图像处理装置的显示单元的状态下发出的声音相关的声音辨识结果的声音辨识数据，并基于所述声音辨识数据来决定搜索对象字符串；步骤b)，执行对多个声音操作命令之中的与所述搜索对象字符串一致的一个声音操作命令进行搜索的搜索处理，该多个声音操作命令包含与和所述图像处理装置相关的第一画面相关的声音操作命令组和与根据对所述第一画面的用户操作而显示的第二画面相关的声音操作命令组；以及步骤c)，执行与在所述步骤b)中搜索到的所述一个声音操作命令对应的处理，所述步骤b)具备：步骤b-1)，执行第一搜索处理，在该第一搜索处理中，将所述多个声音操作命令之中的被赋予了第一顺位的搜索优先顺位的第一命令组作为搜索范围；以及步骤b-2)，在通过将所述第一命令组作为搜索范围的所述第一搜索处理未检测到所述搜索对象字符串的情况下，执行第二搜索处理，在该第二搜索处理中，将所述多个声音操作命令之中的被赋予了第二顺位的搜索优先顺位的第二命令组作为搜索范围，所述第一命令组是与第一优先画面相关的声音操作命令组，该第一优先画面是所述第一画面和所述第二画面这两个操作画面之中的在所述声音的发出时正在显示中的画面且直到所述声音的发出时之前最新调用出的画面，所述第二命令组是与第二优先画面相关的声音操作命令组，该第二优先画面是所述两个操作画面之中的和所述第一优先画面不同的画面。

技术方案31的发明是一种程序，其特征在于，是用于使内置于所述图像处理装置的计算机执行技术方案30的发明的控制方法。

发明效果

根据技术方案1至31所记载的发明，能够恰当地检测与多个操作画面相关的多个声音操作命令之中的与用户的声音输入对应的一个声音操作命令。

附图说明

图1是示出MFP(图像处理装置)的外观的主视图。

图2是示出MFP(多功能外围设备(Multi-Functional Peripheral))的功能框的图。

图3是示出第一实施方式的动作的概要的概念图。

图4是示出第一实施方式的动作的流程图。

图5是示出与复印任务相关的基本菜单画面的图。

图6是示出使倍率设定画面重叠显示于基本菜单画面的情形的图。

图7是仅示出倍率设定画面的图。

图8是示出与基本菜单画面相关的声音操作命令组的图。

图9是示出与倍率设定画面相关的声音操作命令组的图。

图10是示出将各声音操作命令与操作键(操作键的ID)对应关联地登记的情形的图。

图11是示出将各声音操作命令与操作键的位置信息(坐标值等)对应关联地登记的情形的图。

图12是示出使数字键画面重叠显示于基本菜单画面的情形的图。

图13是示出与两个操作画面(包含数字键画面)相关的声音操作命令组的图。

图14是示出与数字键画面相关的声音操作命令组的图。

图15是示出与扫描任务相关的文件形式的详细设定画面的图。

图16是进一步地示出显示有下拉列表的情形的图。

图17是示出与两个操作画面(包含下拉列表画面)相关的声音操作命令组的图。

图18是示出与下拉列表画面相关的声音操作命令组的图。

图19是示出在基本菜单画面重叠显示有警告画面的情形的图。

图20是示出与两个操作画面(包含警告画面)相关的声音操作命令组的图。

图21是示出第二实施方式的动作的流程图。

图22是示出映射形式显示模式中的操作画面(复印设定)的图。

图23是示出映射形式显示模式中的滚动后的操作画面的图。

图24是示出与映射形式显示模式中的两个操作画面相关的声音操作命令组的图。

图25是示出与映射形式显示模式中的两个操作画面相关的声音操作命令组的图。

图26是示出标签形式显示模式中的操作画面(复印设定)的图。

图27是示出在标签形式显示模式中选择了其它标签之后的操作画面的图。

图28是示出与映射形式显示模式中的两个操作画面相关的声音操作命令组的图。

图29是示出与映射形式显示模式中的两个操作画面相关的声音操作命令组的图。

图30是示出第三实施方式的动作的流程图。

图31是示出在标签形式显示模式中选择了再一其它标签之后的操作画面的图。

图32是示出排除处理(第四实施方式)的图。

图33是示出其它排除处理的图。

图34是示出再一其它排除处理的图。

图35是示出决定在同一搜索范围中的搜索顺位的键配置位置的图(第五实施方式)。

图36是示出基于与项目“任务的状态”的内容对应的优先级而将某一层级的声音操作命令排序后的情形的图。

图37是示出基于与项目“用户验证状态”的内容对应的优先级而将某一层级的声音操作命令排序后的情形的图。

图38是基于任务执行中而将某一层级的声音操作命令排序后的情形的图。

图39是基于用户验证后而将某一层级的声音操作命令排序后的情形的图。

图40是示出更新使用履历表格的情形的图。

图41是示出在判定为MFP10的负荷在一定程度以上的情况下，将低优先命令从各阶段的操作命令排除的情形的图。

图42是示出对基本菜单画面的整体实施OCR处理的情形的图(第六实施方式)。

图43是示出将调用出的数字键画面作为差分图像提取并仅对该差分图像实施OCR处理的情形的图。

图44是示出基于对基本菜单画面的OCR处理等而自动生成的文本词典的图。

图45是示出也基于对差分图像(数字键画面)的OCR处理等而自动生成的文本词典的图。

图46是示出变形例的动作的流程图。

图47是示出检测到多个候选的情况下的显示例的图(第七实施方式)。

图48是示出显示声音辨识结果的画面的图。

图49是示出显示搜索处理结果的画面的图。

图50是示出明示出搜索处理所致的被检测命令的对应操作键的画面内位置的显示画面的图。

图51是示出在发出与非显示的操作键对应的声音操作命令时的画面变化的图。

图52是示出在发出与非显示的操作键对应的声音操作命令时的画面变化的图。

图53是示出明示出搜索处理所致的被检测命令的对应操作键(在声音操作命令的发声时刻是非显示的操作键)的画面内位置的显示画面的图。

(附图标记说明)

10：MFP；210：基本菜单画面；230：倍率设定画面；250：数字键画面；270：警告画面；280：详细设定画面；303：差分图像；330：下拉列表画面；412：(标签形式显示模式的)原稿群组画面；413：(标签形式显示模式的)布局群组画面；512、513：(映射形式显示模式的)操作画面；M1：第一命令组；M2：第二命令组。

具体实施方式

以下，基于附图对本发明的实施方式进行说明。

<1.第一实施方式>

<1-1.MFP10的结构>

图1是示出本发明的第一实施方式的图像处理装置的外观的主视图。在此，作为图像处理装置，例示MFP10。

图2是示出MFP(多功能外围设备(Multi-Functional Peripheral))10的功能框的图。

MFP10是具备扫描功能、复印功能、传真功能以及盒保存功能等的装置(也称为复合机)。具体而言，如图2的功能框图所示，MFP10具备图像读取部2、印刷输出部3、通信部4、保存部5、操作部6以及控制器9等，通过使这些各部分复合地进行动作，从而实现各种功能。另外，MFP10也被表达为图像处理装置等。

图像读取部2是光学性地读取(即扫描)载置于MFP10的规定的位置的原稿并生成该原稿的图像数据(也称为原稿图像或扫描图像)的处理部。该图像读取部2也被称为是扫描部。

印刷输出部3是基于与印刷对象相关的数据而在纸张等的各种介质印刷输出图像的输出部。该MFP10也是电子照相方式的打印机(全彩色打印机)，印刷输出部3具有曝光部、显影部、转印部、定影部等的各种硬件机构(也称为图像形成机构或者印刷输出机构)。

通信部4是能够进行经由公共线路等的传真通信的处理部。进一步地，通信部4也能够进行经由网络的网络通信。在该网络通信中，例如，可利用TCP/IP(TransmissionControl Protocol/Internet Protocol：传送控制协议/互联网协议)等的各种协议。通过利用该网络通信，从而MFP10能够在与期望的对方之间进行各种数据的交换。通信部4具有发送各种数据的发送部4a和接收各种数据的接收部4b。

保存部5由硬盘驱动器(HDD)等的存储装置构成。

操作部6具备接受对MFP10的操作输入的操作输入部6a和进行各种信息的显示输出的显示部6b。在该MFP10中，设置有大致板状的操作面板部40(参照图1)，该操作面板部40在其正面侧具有触摸面板45(参照图1)。对液晶显示面板嵌入压电传感器等而构成触摸面板(操作面板)45，触摸面板45能够显示各种信息，并且接受来自操作者的操作输入(操作者的手指进行的操作输入)。例如，在触摸面板45中，显示菜单画面等的各种画面(包含按钮图像等)等。操作者通过按下虚拟地配置于触摸面板45内的按钮(由按钮图像表达的按钮(也称为软件按钮或者软件键))，从而能够对MFP10的各种设定内容进行变更等。触摸面板45也作为操作输入部6a的一部分发挥功能，并且也作为显示部6b的一部分发挥功能。此外，操作面板部40也具备硬件键(硬件按钮)41～44、46。

控制器(控制部)9内置于MFP10，是对MFP10进行总体控制的控制装置。控制器9作为具备CPU以及各种半导体存储器(RAM以及ROM)等的计算机系统而构成。控制器9通过在CPU中执行保存在ROM(例如，EEPROM(注册商标))内的规定的软件程序(以下，也简称为程序)来实现各种处理部。另外，也可以将该程序(详细而言是程序模块组)记录于USB存储器等的可移动的记录介质，从该记录介质读出并安装于MFP10。或者，也可以经由网络等来下载该程序，并安装于MFP10。

具体而言，如图2所示，控制器9通过该程序的执行来实现包含通信控制部11、输入控制部12、显示控制部13、声音辨识处理部14、获取部15、决定部16、搜索部17和命令执行部18的各种处理部。

通信控制部11是控制与其它装置之间的通信动作的处理部。

输入控制部12是控制对操作输入部6a的操作输入动作的控制部。例如，输入控制部12对接受对操作画面(也称为操作画面区域)的操作输入的动作进行控制。

显示控制部13是控制显示部6b中的显示动作的处理部。显示控制部13使显示部6b显示用于操作MFP10的操作画面等。

声音辨识处理部14是执行与用户发出的声音(声音输入)相关的声音辨识处理的处理部。另外，声音辨识处理部14作为操作部6的一部分动作。

获取部15是获取与声音输入相关的声音辨识结果即声音辨识数据(文本数据)的处理部。获取部15获取声音辨识处理部14的声音辨识结果等。

决定部16是基于声音辨识数据来决定搜索对象字符串的处理部。

搜索部17是执行搜索处理的处理部，在该搜索处理中，搜索多个声音操作命令之中与对象字符串一致的一个声音操作命令(文本数据)。

命令执行部18是执行与由搜索部17搜索到的一个声音操作命令对应的处理(各种设定处理和/或任务执行处理等)的处理部。

搜索部17例如对多个声音操作命令之中包含第一命令组M1和第二命令组M2的多个命令组的各个命令组赋予优先顺位，并按照赋予给该命令组的优先顺位来执行将各命令组作为搜索范围的搜索处理。

例如分两个阶段来执行该搜索处理。具体而言，搜索部17首先执行第一搜索处理，在该第一搜索处理中，将按规定的基准从多个声音操作命令(例如与当前显示中的多个操作画面相关的多个声音操作命令)中锁定了的第一命令组(也称为第一操作命令组)M1作为搜索范围。然后，搜索部17在通过将第一命令组M1作为搜索范围的第一搜索处理未检测到搜索对象字符串的情况下，执行第二搜索处理，在该第二搜索处理中，将该多个声音操作命令之中的第二命令组(也称为第二操作命令组)M2作为搜索范围。另外，第一命令组M1也被表达为是被赋予了第一顺位的搜索优先顺位的声音操作命令组，第二命令组M2也被表达为是被赋予了第二顺位的搜索优先顺位的声音操作命令组。

另外，如后述那样，与当前显示中的操作画面(210等)相关的多个声音操作命令不仅包含与该操作画面内的软件键(显示于操作面板45的键)的操作对应的命令，还可包含与硬件键(开始键/停止键等)的操作对应的命令(任务执行开始/任务执行中止等)。

<1-2.声音操作命令>

在该实施方式中，将与各画面相关的声音操作命令组与该各画面相关联地预先设定(登记)。例如，作为与基本菜单画面210(参照5)相关的声音操作命令组610，预先登记有图8所示的那样的多个声音操作命令，作为与倍率设定画面230(参照图7)相关的声音操作命令组630，预先登记有图9所示的那样的多个声音操作命令。具体而言，将预先登记有该各声音操作命令组610、630等的命令词典(文本词典)预先保存于保存部5内。

具体而言，如图8所示，作为与基本菜单画面210(参照5)相关的声音操作命令组610，登记有多个声音操作命令“GENKO GASHITSU”、“KARA”、“NODO”、“YOSHI”、“BAIRITSU”、“RYOMEN/PEJI SYUYAKU”、“SHIAGARI”、“MOJI SYASHIN”、“OTO KARA”、“FUTSU”、“JIDO”、“HYAKU PASENTO”等。各声音操作命令也被表达为示出各操作指令的文本数据。

此外，将这些声音操作命令与和基本菜单画面210相关的操作键211～217等(也参照图5)对应关联地登记。

例如，将声音操作命令“GENKO GASHITSU”以及“MOJI SYASHIN”分别与“复印基本”画面(基本菜单画面210)(详细而言是基本菜单画面210的“底层画面区域”群组)内的操作键“原稿画质”(软件键211)对应关联。

此外，将声音操作命令“YOSHI”以及“JIDO”分别与“复印基本”画面(基本菜单画面210)(详细而言是基本菜单画面210的“底层画面区域”群组)内的操作键“纸张”(软件键214)对应关联。

将声音操作命令“BAIRITSU”以及“HYAKU PASENTO”分别与“复印基本”画面(基本菜单画面210)(详细而言是基本菜单画面210的“底层画面区域”群组)内的操作键“倍率”(软件键215)对应关联。

同样地，也将其它声音操作命令与其它操作键(212、213、216、217等)中的任意操作键对应关联。

此外，如图9所示，作为与倍率设定画面230(参照图6以及图7)相关的声音操作命令组630，登记有多个声音操作命令“JIDO”、“CHISAME”、“PURASU”、“MAINASU”、“GOJYUPASENTO”、“NANAJYUTTEN NANA PASENTO”、“HACHIJYUICHITEN ROKU PASENTO”、“HACHIJYUROKUTEN ROKU PASENTO”、“HYAKU PASENTO/TOUBAI”等。

此外，将这些声音操作命令与和倍率设定画面230相关的操作键231～237、241～249(软件键)等对应关联地登记。

例如，将声音操作命令“JIDO”与“复印倍率”画面(倍率设定画面230)(详细而言是倍率设定画面230的“底层画面区域”群组)内的操作键“自动”(软件键231)对应关联。

同样地，也将其它声音操作命令与操作键232～237、241～249等中的任意操作键对应关联。

如后述那样，当接受到各声音操作命令(声音输入)时，MFP10执行与和该各声音操作命令对应的各操作键的按下时同样的动作。具体而言，MFP10(仿真地)使得产生与该各操作键的按下时相同的操作事件(内部事件)，实现与该各操作键的按下时同样的动作。

另外，可以将各声音操作命令与操作键的ID对应关联地登记(参照图10)，或者也可以与操作键的位置信息(操作键的代表位置在画面内的坐标值等)对应关联地登记(参照图11)。换言之，各操作键可以通过预先赋予给各自的ID(识别码)来识别，或者也可以通过在该画面内的坐标值等来识别。此外，MFP10在搜索与输入声音对应的一个声音操作命令并执行与该一个声音操作命令对应的处理时，可以执行与通过操作键的ID识别的处理(与操作键的ID对应关联的API(Application Programming Interface，应用程序接口)执行处理等)，或者也可以看作赋予了对操作键的代表坐标值的按下操作等而执行处理。

此外，与基本菜单画面210相关的声音操作命令不仅包含与显示于基本菜单画面210的软件键(软件按钮)对应关联地登记的命令，还可以包含与设置于操作面板部40的硬件键(硬件按钮)(41、42、43、44、46)(参照图1)对应关联地登记的命令。例如，除了图8的登记内容之外，进一步地还可以将声音操作命令“SUTATO”与开始键(开始按钮)41对应关联地登记，将声音操作命令“SUTOPPU”与停止键(停止按钮)42对应关联地登记(参照图32)。此外，可以将声音操作命令“RISETTO”与重置键(重置按钮)43对应关联地登记，也可以将声音操作命令“HOMU”与主页键(主页按钮)44对应关联地登记。进一步地，也可以将声音操作命令“TENKI”与数字键调用按钮46对应关联地登记。

关于倍率设定画面230也是同样的，与该倍率设定画面230相关的声音操作命令也可以包含与该硬件键(41、42、43、44、46等)对应关联地登记的命令。

<1-3.动作概要>

接下来，对第一实施方式的动作的概要进行说明。在该第一实施方式中，主要对在将从主画面(210等)调用出的分画面(230等)与该主画面一起显示于触摸面板45的情况下(参照图6等)执行两个阶段的搜索处理的方式(参照图3等)进行说明。

图3是示出第一实施方式的动作的概要的概念图，图4是示出第一实施方式的动作的流程图。此外，图5是示出与复印任务相关的基本菜单画面210的图，图6是示出将与复印倍率相关的详细设定画面(也称为倍率设定画面)230重叠显示于基本菜单画面210的情形的图。此外，图7是仅提取出倍率设定画面230而示出的图。倍率设定画面230是根据对基本菜单画面210的用户操作(基本菜单画面210内的倍率设定按钮215的按下等)而显示的详细设定画面。另外，如图5以及图6所示，在基本菜单画面210内显示多个操作键211～217(软件键)等，在倍率设定画面230内显示多个操作键231～237、241～249(软件键)等。

那么，在仅将基本菜单画面210(参照图5)显示于触摸面板45的情况下，执行仅将声音操作命令组610作为搜索范围的搜索处理(搜索用户的声音辨识结果的处理)。具体而言，从与基本菜单画面210对应关联地登记的声音操作命令组610中搜索用户的声音辨识结果。

另一方面，例如，在显示有基本菜单画面210(参照图5)的状态下，当按下基本菜单画面210内的倍率设定按钮215时，触摸面板45的显示状态转变到图6所示的那样的状态。在图6中，将从基本菜单画面210(主画面)调用出的倍率设定画面230(分画面)与基本菜单画面210一起显示于触摸面板45。换言之，在图6中，使彼此不同的层级的画面即两个操作画面210、230的双方显示于触摸面板45。

在这样的显示状态下，假设，如上述那样，当将声音辨识数据的搜索范围始终固定于与两个操作画面之中的一方的层级画面(例如当前的层级画面230)相关的声音操作命令组(参照专利文献1)时，无法接受与两个操作画面之中的其它层级画面210相关的声音操作命令。

例如，虽然可搜索与分画面(倍率设定画面)230相关的各声音操作命令(“JIDO”等)，但是搜索不到与主画面(基本菜单画面)210内的各按钮对应关联的声音操作命令(例如，与基本菜单画面210内的原稿画面设定用按钮210对应关联的声音操作命令“GENKOGASHITSU”等)。

因此，在该第一实施方式中，执行将与两个操作画面230、210的双方相关的声音操作命令组作为搜索对象的动作。

具体而言，进行将与分画面230相关的声音操作命令组630作为搜索范围的第一搜索处理，接下来，进行将与主画面210相关的声音操作命令组610作为搜索范围的第二搜索处理。更具体而言，在第一搜索处理中在从第一搜索范围中未检测到搜索对象字符串的情况下，执行将与调用源的操作画面210相关的声音操作命令组610作为搜索范围的第二搜索处理。

由此，也可搜索与和最新调用出的操作画面230以外的操作画面(调用源的操作画面)210相关的声音操作命令组610中的任意声音操作命令一致的声音操作命令(例如，“GENKO GASHITSU”)。因此，能够恰当地检测与多个操作画面相关的多个声音操作命令之中的与用户的操作用声音对应的一个声音操作命令。

更详细而言，在第一实施方式中执行如下那样的动作。

首先，执行将按规定的基准(下述)从多个声音操作命令组610、630中锁定了的第一命令组M1作为搜索范围的第一搜索处理(也参照图3)。在此，作为规定的基准，可采用与当前(详细而言，在声音操作用的声音的发出时)显示的至少一个操作画面之中(直到该声音的发出时)最新(最后)调用出的画面(逻辑上的最下位层级的画面)相关的声音操作命令组。具体而言，将与当前显示的两个操作画面210、230之中最新调用出(最新显示)的画面230相关的声音操作命令组630决定为第一命令组M1。换言之，对声音操作命令组630(第一命令组M1)赋予第一顺位的优先顺位，并且首先执行与被赋予了该第一顺位的优先顺位的第一命令组M1(630)相关的搜索处理。另外，操作画面230是该两个操作画面之中显示于最近前的画面，也称为显示上的最上位层级的画面。此外，由于该操作画面230是与被赋予了第一顺位的优先顺位的声音操作命令组630对应的画面，因此也称为第一优先画面。

然后，在通过第一搜索处理检测到与搜索对象字符串(声音辨识数据)一致的一个声音操作命令的情况下，执行与该一个声音操作命令(搜索对象字符串)对应的处理。

例如，在通过将声音操作命令组630作为搜索范围(也称为第一搜索范围)的第一搜索处理检测到与搜索对象字符串“JIDO”一致的一个声音操作命令“JIDO”的情况下，执行对应于该一个声音操作命令“JIDO”的处理。具体而言，执行将复印的倍率设定为“自动”的设定处理(与倍率设定画面230内的按钮231的按下操作对应的处理)。

或者，在通过该第一搜索处理检测到与搜索对象字符串“GOJYU PASENTO”一致的一个声音操作命令“GOJYU PASENTO”的情况下，执行对应于该一个声音操作命令“GOJYUPASENTO”的处理。具体而言，执行将复印的倍率设定为“50％”的设定处理(与倍率设定画面230内的按钮241的按下操作对应的处理)。

另一方面，在通过第一搜索处理未检测到与搜索对象字符串(声音辨识数据)一致的一个声音操作命令的情况下，将多个声音操作命令组610、630之中的除了第一命令组M1之外的声音操作命令组610决定为第二命令组M2，执行将该第二命令组M2作为搜索范围(也称为第二搜索范围)的第二搜索处理。换言之，对声音操作命令组610(第二命令组M2)赋予第二顺位的优先顺位，并且执行与被赋予了该第二顺位的优先顺位的第二命令组M2(610)相关的搜索处理。另外，由于该操作画面210是与被赋予了第二顺位的优先顺位的声音操作命令组610对应的画面，因此也称为第二优先画面。

例如，在通过将声音操作命令组610作为搜索范围的第二搜索处理检测到与搜索对象字符串“GENKO GASHITSU”一致的一个声音操作命令“GENKO GASHITSU(原稿画质)”的情况下，执行对应于该一个声音操作命令“GENKO GASHITSU(原稿画质)”的处理。具体而言，执行与基本菜单画面210内的按钮211的按下操作对应的处理。更具体而言，执行将与原稿画质相关的详细设定画面220(未图示)重叠显示于基本菜单画面210的处理。

根据这样的动作，如上述那样，也可搜索与和最新调用出的操作画面230以外的操作画面(调用源的操作画面)210相关的声音操作命令组610中的任意声音操作命令一致的声音操作命令(例如，“GENKO GASHITSU”)。因此，能够恰当地检测与多个操作画面相关的多个声音操作命令之中的与用户的操作用声音对应的一个声音操作命令。

此外，由于分两个阶段进行与两个操作画面210、230相关的搜索处理，因此能够进行高效的搜索处理。详细而言，首先进行第一搜索处理，在该第一搜索处理中，将与最新调用出的操作画面230相关的声音操作命令组630作为搜索范围，在该第一搜索处理不成功的情况下，进行第二搜索处理，在该第二搜索处理中，将与其它画面210相关的声音操作命令610作为搜索范围。由此，由于先进行将两个声音操作命令组610、630之中、作为操作用声音发出的可能性更高的声音操作命令组630作为搜索范围的搜索处理，接着进行将其它声音操作命令组610作为搜索范围的搜索处理，因此能够进行高效的搜索处理。

此外，根据该第一实施方式的动作，也能够得到如下那样的优点。

在此，在图6那样的显示状态下，作为能够检测显示于触摸面板45的所有的操作键所对应的多个声音操作命令中的任意声音操作命令的技术，能够思考如下那样的技术(也称为比较例的技术)。

例如，可利用如下方法：从与基本菜单画面210对应关联地登记的声音操作命令组610和与倍率设定画面230对应关联地登记的声音操命令组630这双方中一起搜索(无搜索范围的区分)用户的声音辨识结果。

然而，在使用该方法的情况下，在相同的发音的声音操作命令存在于与两个操作画面相关的两个声音操作命令组的双方时，可能产生如下那样的问题。具体而言，虽然将双方的层级画面(两个操作画面)210、230作为搜索范围，但是由于一起执行与该双方的层级画面210、230相关的搜索处理，因此有时被辨识为与未意图的一方的画面相关的声音命令。换言之，起因于无法指定包含于两个操作画面210、230的多个声音操作命令的优先顺位，而有时得到与用户的意图不同的搜索结果。

详细而言，有时最先检测到与基本菜单画面210内的“纸张”按钮214(图5)对应关联的声音操作命令“JIDO”和与倍率设定画面230内的自动按钮231(图6)对应关联的声音操作命令“JIDO”之中的不符合用户的意图的一个声音操作命令(例如是前者)，执行与该一个声音操作命令对应的处理。例如，尽管用户存在希望赋予与当前的层级画面(倍率设定画面)230内的按钮231的按下指示同等的指示的意思，但是有时被误辨识为其调用源的层级画面(基本菜单画面)210内的按钮214的按下指示。

这样，在相同的发音的声音操作命令存在于与两个操作画面相关的两个声音操作命令组的双方的情况下，可能产生误检测到与和用户的意图不同的画面相关的声音操作命令的问题。

与此相对，在第一实施方式中，如上述那样，执行不是一起而是分两个阶段搜索用户的声音辨识结果的动作。

具体而言，对包含第一命令组M1(630)和第二命令组M2(610)的多个声音操作命令，针对每个命令组赋予优先顺位，按照赋予给该命令组的优先顺位来执行将各命令组作为搜索范围的搜索处理。具体而言，首先执行第一顺位的搜索处理(第一搜索处理)，并在通过第一搜索处理未检测到与搜索对象字符串一致的一个声音操作命令的情况下，执行第二顺位的搜索处理(第二搜索处理)。特别是，将与显示上的最上位层级的画面相关的声音操作命令组630作为搜索范围来执行第一顺位的搜索处理。

由此，在相同的发音的声音操作命令包含于第一搜索处理中的搜索范围(第一搜索范围)和第二搜索处理中的搜索范围(第二搜索范围)这双方的情况下，可优先采用在第一搜索处理中的检测结果。特别是，将与逻辑上的最下位层级的画面(显示上的最上位层级的画面)230相关的命令组630作为搜索范围来执行第一顺位的搜索处理。

此外，一般而言，用户大多进行与当前显示的操作画面且是最新调用出的操作画面(在此是画面230)相关的声音操作。因此，根据对与该操作画面230相关的声音操作命令组630给予第一顺位的优先顺位而执行搜索处理，检测出符合用户的意图的声音操作命令的可能性较高。进而，能够恰当地执行符合用户的意图的声音操作。

这样，即使在相同的发音的声音操作命令包含于与两个操作画面相关的两个声音操作命令组的双方的情况下，也能够避免或抑制误检测出与用户的意图不同的画面(显示上的非最上位层级的画面(显示上的下位层级画面))相关的声音操作命令。

<1-4.详细动作>

以下，参照图4对这样的动作进行说明。图4是示出MFP10的动作的流程图。

在步骤S11～S21的待机循环的待机中，当触摸面板45中的显示内容变化时，从步骤S11进入步骤S12。

例如，在根据倍率设定按钮215(图5)的按下等而从图5的显示状态转变到图6的显示状态的情况下，MFP10不仅获取直到该转变前已经获取到的命令组610(与基本菜单画面210相关的声音操作命令组)，还获取其它命令组630(与倍率设定画面230相关的声音操作命令组)(步骤S12)。由此，形成包含两个声音操作命令组610、630的命令组600(601)(参照图8以及图9)。另外，如图8以及图9所示，在规定声音操作命令组601的数据表格中，对包含于基本菜单画面210的操作键赋予“复印基本”来作为项目“画面”的项目值(图8)，对包含于倍率设定画面230的操作键赋予“复印倍率”来作为项目“画面”的项目值(图9)。另外，各命令组600、610、630分别是与声音操作相关的文本数据(声音操作命令)等的集合体。

此后，如图6所示，在使两个操作画面210、230显示于触摸面板45的状态下，当接受到用户的声音输入时，从步骤S21进入步骤S22。

在步骤S22中，MFP10的声音辨识处理部14执行与用户的声音输入相关的声音辨识处理。此外，MFP10的获取部15从声音辨识处理部14获取该声音辨识处理的处理结果即声音辨识数据(文本数据)。在此，获取与在将两个操作画面210、230的双方显示于触摸面板45的状态下发出的用户声音(接受到的声音输出)相关的声音辨识结果。进一步地，MFP10(决定部16)基于声音辨识数据来决定搜索对象字符串。例如，将声音辨识数据的字符串“GENKOGASHITSU”直接决定为搜索对象字符串。或者，也可以从声音辨识数据的字符串“ETO，GENKOGASHITSU”中将“ETO”(作为无含义用语预先登记的字符串)排除，将(仅)“GENKO GASHITSU”决定为搜索对象字符串。

接下来，在步骤S23中，决定第i(在此i＝1)搜索处理中的搜索范围(第一搜索范围)即第一命令组M1。具体而言，基于命令词典来获取第一命令组M1。然后，生成第一文本词典(从命令词典提取出一部分的命令组(M1)而成的文本词典)，设定第一搜索范围。在此，将与倍率设定画面230相关的声音操作命令630决定(设定)为第一命令组M1(第一搜索范围)。

更具体而言，在声音操作命令组600(参照图8以及图9)中，从多个数据记录(datarecord)(将各行的数据作为一个单位(数据记录)的数据组)中(锁定地)提取作为其项目“画面”的项目值而规定有“复印倍率”的数据记录(与倍率设定画面230对应的数据记录)。由此，将图9的声音操作命令组630提取为第一命令组M1。

然后，执行从该第一搜索范围中对搜索对象字符串进行搜索的第一搜索处理(步骤S24)。

在步骤S25中，判定在第一搜索处理中是否检测到与搜索对象字符串一致的一个声音操作命令。

在第一搜索处理中在检测到与搜索对象字符串一致的一个声音操作命令的情况下，进入步骤S30。在步骤S30中，执行与该一个声音操作命令对应的处理。

另一方面，在第一搜索处理中未检测到与搜索对象字符串一致的一个声音操作命令的情况下，从步骤S25进入步骤S26。

在步骤S26中，判定是否应该执行进一步的搜索处理。例如，基于在触摸面板45内也显示有不同于与第一命令组M1对应的倍率设定画面230的画面210，来决定应该执行进一步的搜索处理。换言之，在搜索对象的全部画面数N＝2的情况下，基于值i未达到值N而决定应该执行进一步的搜索处理的意思。然后，使值i递增，返回到步骤S23。

然后，在步骤S23中，决定第i(i＝2)搜索处理中的搜索范围(第二搜索范围)即第二命令组M2。具体而言，基于命令词典来获取第二命令组M2。然后，生成第二文本词典(从命令词典提取出一部分的第二命令组(M2)的文本词典)，设定第二搜索范围。在此，将与基本菜单画面210相关的声音操作命令610决定(设定)为第二命令组M2(第二搜索范围)。

更具体而言，在声音操作命令组600(参照图8以及图9)中，(锁定地)提取多个数据记录之中的作为其项目“画面”的项目值而规定有“复印基本”的数据记录(与基本菜单画面210对应的数据记录)。由此，提取图8的声音操作命令组610，作为第二命令组M2。或者，也可以提取从声音操作命令组600排除了声音操作命令组630后剩余的命令，组作为第二命令组M2。

然后，执行从该第二搜索范围中对搜索对象字符串进行搜索的第二搜索处理(步骤S24)。

在下一步骤S25中，判定在第二搜索处理中是否检测到与搜索对象字符串一致的一个声音操作命令。

在第二搜索处理中在检测到与搜索对象字符串一致的一个声音操作命令的情况下，进入步骤S30。在步骤S30中，执行与该一个声音操作命令对应的处理。

另一方面，在第二搜索处理中在未检测到与搜索对象字符串一致的一个声音操作命令的情况下，从步骤S25进入步骤S26。

在步骤S26中，这一次，基于在触摸面板45未显示进一步的画面(值i已达到了值N(＝2))，判定不需要执行进一步的搜索处理的意思，进入步骤S29。在步骤S29中，执行错误处理(显示未搜索到与输入声音对应的一个声音操作命令的意思的处理等)。

如此执行第一实施方式的动作。

另外，在上述实施方式中，响应于在图5的显示状态下按下了基本菜单画面210内的倍率设定按钮215，而进行向图6的显示状态的转变，但并不限定于此。例如，也可以响应于在图5的显示状态下接受到用户的声音输入“BAIRITSU”，而进行向图6的显示状态的转变。在该情况下，只需仅将声音操作命令组610(图8)作为搜索对象来搜索声音辨识数据“BAIRITSU”即可。

此外，在上述实施方式中执行两个阶段(N＝2)的搜索处理，但并不限定于此。例如，也可以进一步地实施多个阶段(三个阶段以上)的搜索处理。

<1-5.与两个操作画面相关的其它例子>

<数字键画面>

在上述，主要例示出从图5的显示状态转变到图6的显示状态之后的动作，但并不限定于此。例如，从图5的显示状态转变到图12的显示状态之后的动作也是同样的。在图12中，将从基本菜单画面210(主画面)调用出的数字键画面250(分画面)与基本菜单画面210一起显示于触摸面板45。更详细而言，将数字键画面250重叠地显示于基本菜单画面210的一部分(将数字键画面250显示于最近前侧)。另外，当在图5的显示状态下按下数字键调用按钮46(硬件键)(或者接受声音输入“TENKI”)时，触摸面板45的显示内容向图12所示的那样的内容变化。

在这样的情况下，也执行与上述同样的动作。

具体而言，在从图5的显示状态转变到图12的显示状态时，MFP10不仅获取直到该转变前已经获取到的命令组610(与基本菜单画面210相关的声音操作命令组)，还获取其它命令组650(与数字键画面250相关的声音操作命令组)(参照图13)(步骤S12)。由此，形成包含两个声音操作命令组610、650的命令组600(602)(参照图13)。另外，如图13所示，关于与包含于数字键画面250的操作键对应的声音操作命令组650，赋予“数字键”来作为项目“画面内群组”的项目值。另一方面，关于与包含于基本菜单画面210的操作键对应的声音操作命令组610，赋予“底层画面区域”来作为项目“画面内群组”的项目值。

此后，MFP10从声音辨识处理部14获取与用户的声音输入相关的声音辨识处理的处理结果即声音辨识数据，基于该声音辨识数据来决定搜索对象字符串(例如，“GO(5)”)(步骤S21、S22)。

接下来，将与数字键画面250相关的声音操作命令组650(参照图13以及图14)决定为第一命令组M1，将该声音操作命令组650设定为搜索范围(第一搜索范围)(步骤S23)。

更具体而言，在声音操作命令组602(参照图13)中，从多个数据记录中(锁定地)提取作为其项目“画面内群组”的项目值而规定有“数字键”的数据记录(与数字键画面250对应的数据记录)。由此，如图14所示，提取声音操作命令组650，作为第一命令组M1。换言之，将与数字键250相关的声音操作命令组650设定为第一搜索范围。

然后，执行从该第一搜索范围中对搜索对象字符串进行搜索的第一搜索处理(步骤S24)。

在第一搜索处理中检测到与搜索对象字符串一致的一个声音操作命令的情况下，执行与该一个声音操作命令对应的处理(步骤S25、S30)。

另一方面，在第一搜索处理中未检测到与搜索对象字符串一致的一个声音操作命令的情况下，将与基本菜单画面210相关的声音操作命令组610(参照图13)决定为第二命令组M2，将该声音操作命令组610设定为搜索范围(第二搜索范围)(步骤S23)。

更具体而言，在声音操作命令组602(参照图13)中，从多个数据记录中(锁定地)提取作为其项目“画面内群组”的项目值而规定有“底层画面区域”的数据记录(与基本菜单画面210对应的数据记录)。由此，提取图13的声音操作命令组610，作为第二命令组M2。或者，也可以提取从声音操作命令组602排除了声音操作命令组650后剩余的命令组，作为第二命令组M2。

然后，执行从该第二搜索范围中对搜索对象字符串进行搜索的第二搜索处理(步骤S24)。在第二搜索处理中检测到与搜索对象字符串一致的一个声音操作命令的情况下，执行与该一个声音操作命令对应的处理(步骤S30)。

这样，也可以对第一命令组M1(650)赋予第一顺位的优先顺位且对第二命令组M2(610)赋予第二顺位的优先顺位，并且按照赋予给该命令组的优先顺位来执行将各命令组作为搜索范围的搜索处理。

<下拉>

此外，从图15的显示状态转变到图16的显示状态之后的动作也是同样的。在图15中，示出与扫描任务相关的文件形式(PDF形式)的详细设定画面310。如图15所示，在详细设定画面310中，显示有多个软件键(按钮)311～319。此外，在图16中，示出响应于按下了详细设定画面310(图15)内的“印章合成方法”按钮313而显示有“印章合成方法”的下拉列表(也称为下拉列表画面)330的情形。在该下拉列表330中，显示有两个选项(“画面”以及“字符”)，能够设定该两个选项中的任意一方。

在这样的情况下，也执行与上述同样的动作。

具体而言，在从图15的显示状态转变到图16的显示状态时，MFP10不仅获取直到该转变前已经获取到的命令组710(与详细设定画面310相关的声音操作命令组)，还获取其它命令组730(与下拉列表330相关的声音操作命令组)(参照图17)(步骤S12)。由此，形成包含两个声音操作命令组710、730的命令组700(701)(参照图17)。

另外，如图17所示，关于与包含于详细设定画面310的操作键对应的声音操作命令组710，赋予“底层画面区域”来作为项目“画面内群组”的项目值。另一方面，关于与包含于下拉列表330的操作键对应的声音操作命令组730，赋予“下拉区域(印章合成)”来作为项目“画面内群组”的项目值。此外，关于声音操作命令组710、730中的任意声音操作命令组，也都赋予“PDF详细设定”来作为项目“画面”的项目值。

此后，MFP10从声音辨识处理部14获取与用户的声音输入相关的声音辨识处理的处理结果即声音辨识数据，基于该声音辨识数据来决定搜索对象字符串(例如，“MOJI(字符)”)(步骤S21、S22)。

接下来，将与下拉列表330相关的声音操作命令组730(也参照图18)决定为第一命令组M1，将该声音操作命令组730设定为搜索范围(第一搜索范围)(步骤S23)。

更具体而言，在声音操作命令组701(参照图17)中，从多个数据记录中(锁定地)提取作为其项目“画面内群组”的项目值而规定有“下拉区域(印章合成)”的数据记录(与下拉列表画面330对应的数据记录)。由此，如图18所示，提取声音操作命令组730，作为第一命令组M1。换言之，将与下拉列表画面330相关的声音操作命令组730设定为第一搜索范围。

然后，执行从该第一搜索范围中对搜索对象字符串进行搜索的第一搜索处理(步骤S24)。

在第一搜索处理中检测到与搜索对象字符串一致的一个声音操作命令的情况下，执行与该一个声音操作命令对应的处理(步骤S25、S30)。

另一方面，在第一搜索处理中未检测到与搜索对象字符串一致的一个声音操作命令(MFP10未能检测该一个声音操作命令)的情况下，将与详细设定画面310相关的声音操作命令组710(参照图17)决定为第二命令组M2，将该第二命令组M2设定为搜索范围(第二搜索范围)(步骤S23)。

更具体而言，在声音操作命令组701(参照图17)中，从多个数据记录(各行的数据组)中(锁定地)提取作为其项目“画面内群组”的项目值而规定有“下拉区域(印章合成)”的数据记录(与详细设定画面310对应的数据记录)。或者，也可以提取从声音操作命令组701排除了声音操作命令组730后剩余的命令组，作为第二命令组M2。由此，如图17所示，提取声音操作命令组710，作为第二命令组M2。换言之，将与详细设定画面310相关的声音操作命令组730设定为第二搜索范围。

然后，执行从该第二搜索范围中对搜索对象字符串进行搜索的第二搜索处理(步骤S24)。在第二搜索处理中检测到与搜索对象字符串一致的一个声音操作命令的情况下，执行与该一个声音操作命令对应的处理。

这样，也可以对第一命令组M1(730)赋予第一顺位的优先顺位且对第二命令组M2(710)赋予第二顺位的优先顺位，并且按照赋予给该命令组的优先顺位来执行将各命令组作为搜索范围的搜索处理。

另外，在此，例示出仅对最近前侧的画面(下拉列表330)和该画面(下拉列表330)的调用源的画面310这两个层级的画面(两个画面)进行声音操作的形态。但是，并不限定于此，也可以对三个以上的层级的画面进行声音操作。该情况下，只需对与三个以上的层级的画面各自对应的各声音操作命令组分别赋予优先顺位，并且按照赋予给该命令组的优先顺位来执行将各命令组作为搜索范围的搜索处理即可。例如，与上述同样地，只需对第一命令组M1(730)赋予第一顺位的优先顺位且对第二命令组M2(710)赋予第二顺位的优先顺位，并且对与详细设定画面310的调用源的画面305(未图示)对应的声音操作命令组(未图示)赋予第三顺位的优先顺位即可。然后，只需按照赋予给该命令组的优先顺位来执行将各命令组作为搜索范围的搜索处理即可。另外，在图15以及图16中，省略了详细设定画面310的调用源的画面305的图示。

<1-6.变形例1(从搜索范围中排除了一部分的命令)>

此外，在上述中，在将与显示于最近前侧(上侧)的画面(也称为画面区域)相关的声音操作命令组(M1)作为搜索对象进行了第一搜索处理之后，将与该画面区域的调用源的画面区域相关的声音操作命令组(M2)的全部作为搜索对象进行第二搜索处理。然而，并不限定于此，也可以将从声音操作命令组M2排除了一部分的声音操作命令后声音操作命令组作为搜索对象而进行第二搜索处理。

例如，在图12中，基本菜单画面210内的多个软件键211～217之中的一部分的软件键216、217被数字键画面250(详细而言是其一部分)覆盖(被数字键250遮挡)。换言之，具有如下状态：使两个操作画面210、250的双方显示于触摸面板45且基本菜单画面210的至少一部分被数字键250遮挡地显示。

在执行与在这样的状态下发出的用户声音(接受到的声音输入)相关的声音辨识结果的搜索处理的情况下，也可以从声音操作命令组M2排除与该一部分的软件键216、217对应的一部分的声音操作命令(例如，“RYOMEN/PEJI SYUYAKU”、“SHIAGARI”、“KATAMENKATAMEN”、“SUTEPURU SHINAI”)(参照图8以及图13)。然后，也可以将使该一部分的声音操作命令排除后的声音操作命令组作为搜索对象进行第二搜索处理。换言之，也可以在从第二命令组M2排除了与使遮挡于数字键250的至少一部分的操作键(显示要素)对应的命令后的状态下执行与第二命令组M2相关的搜索处理。

在此，可认为进行与被其它画面遮挡的按钮(换言之，用户看不见的按钮)相关的声音操作的可能性低于一定程度。因此，通过将与这样的按钮(键)对应的声音操作命令从搜索范围中排除，从而能够减少不需要的搜索而提高搜索效率。

但是，也考虑存在也希望进行与被其它画面遮挡的按钮相关的声音操作的用户的可能性，优选，构成为(特别是针对每个用户)能够变更“是否将与被遮挡的按钮(键)对应的声音操作命令从搜索范围(第二搜索范围)中排除”。换言之，优选能够设定变更“在与第二命令组相关的搜索处理的执行时，是否将与被第二画面遮挡的显示要素对应的命令从与第一画面对应的第二命令组排除”。具体而言，只需使用规定的设定画面(未图示)，根据用户的设定操作来进行设定变更即可。然后，只需基于该设定变更的设定内容来执行与第二命令组M2相关的搜索处理即可。具体而言，在设定了进行排除的意思的情况下，只需在将与被第二画面遮挡的显示要素对应的命令排除后的状态下执行与第二命令组M2相关的搜索处理即可，相反地，在设定了不进行排除的情况下，只需在包含有与被第二画面遮挡的显示要素对应的命令的状态下执行与第二命令组M2相关的搜索处理即可。

<1-7.变形例2(警告显示中)>

此外，在上述中，当第一搜索处理结束时，立即执行第二搜索处理。然而，并不限定于此，即使第一搜索处理结束，在规定的条件(例如，“为警告画面的显示中”等)成立的情况下，也可以例外地保留(不执行)第二搜索处理的执行。

例如，如图19所示，在将警告画面(通知警告的画面)270重叠显示于基本菜单画面210的情况下，也可以不执行第二搜索处理。在给出警告的情况下，优选，将警告原因的解除最优先，并优选不接受其它操作(与警告原因解除无关系的操作)。考虑到这样的情况，也可以保留第二搜索处理。

具体而言，在图19的显示状态下，也可以在将与警告画面270对应的声音操作命令组670(在此，仅是“GAIDANSU”)(图20)决定为第一命令组M1并执行第一搜索处理之后，不执行第二搜索处理，直到解除警告原因的异常状态。换言之，即使在通过将与警告画面270相关的声音操作命令组670(第一命令组M1)作为搜索范围的第一搜索处理未检测到搜索对象字符串时，也可以至少直到解除警告都不执行将第二命令组M2(与基本菜单画面210相关的声音操作命令610)作为搜索范围的第二搜索处理。

<1-8.变形例3(文本词典生成定时)>

此外，在上述，如图4的流程图所示，在紧靠第i搜索处理之前(步骤S24)中执行第i文本词典的生成处理(步骤S23)，但并不限定于此。例如，如图46所示，也可以在紧靠步骤S12之后(步骤S13、S14)执行第i文本词典的生成处理等。在图46中，示出在步骤S13中执行第i文本词典的生成处理并在步骤S14中未判定应该结束文本词典的生成处理的意思时使值i递增并返回到步骤S13。也可以通过重复这样的动作，从而在搜索处理的开始(步骤S24)前(更详细而言是在显示变更之后(步骤S11之后))生成多个文本词典(例如，第一文本词典以及第二文本词典)。

<2.第二实施方式>

在上述第一实施方式中，在将多个操作画面(例如是两个操作画面)同时显示于触摸面板45的状态下，发出操作用声音并接受声音输入。然后，将与该多个操作画面相关的多个声音操作命令组依次设定为搜索对象并执行多个阶段的搜索处理。详细而言，将同时显示于触摸面板45的多个操作画面之中的与最新调用出的画面(也称为最新调用目的地画面)相关的声音操作命令组设定为第一搜索对象，并首先执行第一搜索处理。接下来，将与该最新调用目的地画面的调用源的画面相关的声音操作命令组设定为第二搜索对象，并执行第二搜索处理。

在第二实施方式中，在将显示于触摸面板45的操作画面从一个画面(第一画面)切换到其它画面(第二画面)的情况下(将该其它画面“代替”该一个画面显示于触摸面板45的情况下)，在切换显示后的状态下发出操作用声音并接受声音输入。换言之，在未显示依次显示的两个操作画面之中的该一个画面(切换前的画面)且显示有该其它画面(切换后的画面)的状态下，发出操作用声音。然后，依次将与这两个画面相关的两个声音操作命令组设定为搜索对象，并依次执行两个阶段的搜索处理。换言之，将切换显示于触摸面板45的多个操作画面之中的与该其它画面(最新调用出的画面)相关的声音操作命令组设定为第一搜索对象，并首先执行第一搜索处理。接下来，将与该其它画面的调用源的画面(该一个画面)相关的声音操作命令组设定为第二搜索对象，并执行第二搜索处理。在第二实施方式中，以与第一实施方式的不同点为中心对这样的形态进行说明。

在此，对通过“映射形式显示模式”显示与复印设定相关的操作画面的形态(参照图22以及图23)进行说明。

在“映射形式显示模式”中，显示其显示范围彼此不同的多个操作画面。在“映射形式显示模式”中，在各时刻在触摸面板45显示包含与复印基本设定相关的七个功能按钮521～527(未图示)和与复印应用设定相关的十七个功能按钮531～547(参照图22以及图23等)的共计二十四个功能按钮之中的八个(或者九个)功能按钮。另外，将二十四个功能按钮分类为五个功能群组(“基本设定”、“原稿”、“布局”、“裁剪”、“画质/浓度”)并按功能群组单位配置。

例如，在某一时刻(例如，初始状态)的操作画面512中，如图22所示，将八个功能按钮531～538显示于触摸面板45。更详细而言，显示属于“原稿”群组的四个功能按钮531～534和属于“布局”群组的四个功能按钮535～538。

此后，当按下朝向右的滚动按钮562时，从图22的操作画面512转变到图23的操作画面513。在图23的操作画面(设定画面)513中，将其它八个功能按钮539～546显示于触摸面板45，来代替八个功能按钮531～538。显示属于“布局”群组的两个功能按钮539、540、属于“裁剪”群组的四个功能按钮541～544和属于“画质/浓度”群组的两个功能按钮545、546。

另外，在画面中部的图标显示区域580，将二十四个图标在横向上配置为一排。该二十四个图标(图标排)是与上述的二十四个功能按钮对应的图标。根据框563相对于该图标排的相对位置，示出当前在画面上段的功能按钮显示区域570中显示的功能。具体而言，由矩形形状的框563包围示出该二十四个图标之中的与当前显示于画面上段的功能按钮显示区域570的功能按钮对应的图标。

在该第二实施方式中，当从图22的操作画面512转变到图23的操作画面513时，将与当前的显示对象的功能按钮539～546对应的声音操作命令组830(参照图25)决定为第一命令组M1(第一搜索范围)。此外，将与该转变之前的显示对象的功能按钮531～548对应的声音操作命令组820(参照图24)决定为第二命令组M2(第二搜索范围)。然后，执行与第一实施方式同样的两个阶段的搜索处理。

图21是示出第二实施方式的动作的流程图。如将图21与图4比较可知的那样，主要是步骤S12的动作不同。以下，以不同点为中心进行说明。

例如，在从图22的操作画面512转变到图23的操作画面513的情况下，在第二实施方式的步骤S12(S12b)中，不仅获取直到该转变前已经获取到的命令组820(与操作画面512相关的声音操作命令组)，还获取其它命令组830(与操作画面513相关的声音操作命令组)(参照图24以及图25)。由此，形成包含两个声音操作命令组820、830的命令组800(801)。另外，如图24等所示，关于与包含于操作画面512、513的操作键对应的声音操作命令组820、830，作为项目“X坐标范围”的项目值而规定有各操作键的存在位置(横跨映射形式显示模式中的整个滚动范围的虚拟的整体画面内的X坐标范围)。此外，关于声音操作命令组820、830中的任意声音操作命令组，也都赋予“复印映射显示”来作为各数据记录的项目“画面”的项目值(在图24以及图25中省略了图示)。

此后，将与操作画面513相关的声音操作命令组830决定为第一命令组M1(步骤S23)，执行将第一命令组M1作为搜索范围的搜索处理(第一搜索处理)(步骤S24)。

更具体而言，在声音操作命令组801(参照图25)中，从多个数据记录中(锁定地)提取作为其项目“X坐标范围”的项目值而规定有映射形式显示模式中的当前的显示范围(“1545～2344”)内的X坐标值的数据记录(与操作画面513对应的数据记录)。由此，如图25所示，提取声音操作命令组830，作为第一命令组M1。换言之，将与操作画面513相关的声音操作命令组830设定为第一搜索范围。

进一步地，在步骤S26中判定了应该执行进一步的搜索处理的意思。在第二实施方式中，在进行了从某一画面(例如512)向其它画面(例如513)的显示变更的情况下，执行直到与前一个显示画面(例如512)相关的搜索处理。

然后，这一次，将与操作画面512相关的声音操作命令组820决定为第二命令组M2(步骤S23)，执行将第二命令组M2作为搜索范围的搜索处理(第二搜索处理)(步骤S24)。

更具体而言，在声音操作命令组801(参照图24)中，从多个数据记录中(锁定地)提取作为其项目“X坐标范围”的项目值而规定有映射形式显示模式中的紧靠之前的显示范围(“745～1544”)内的X坐标值的数据记录(与操作画面512对应的数据记录)。由此，如图24所示，提取声音操作命令组820，作为第二命令组M2。换言之，将与操作画面512相关的声音操作命令组820设定为第二搜索范围来。然后，执行第二搜索处理。

在第二实施方式中，进行如上那样的动作。

在第二实施方式的动作中，在将与最新的操作画面513相关的声音操作命令组作为搜索范围的第一搜索处理中，在未检测到与搜索对象字符串一致的声音操作命令的情况下，执行将与原来的操作画面512相关的声音操作命令组作为搜索范围的第二搜出处理。由此，也可搜索与和最新调用出的操作画面513以外的操作画面(调用源的操作画面512)相关的声音操作命令组中的任意声音操作命令一致的声音操作命令。因此，能够恰当地检测与多个操作画面相关的多个声音操作命令之中的与用户的操作用声音对应的一个声音操作命令。此外，由于分两个阶段进行与两个操作画面512、513相关的搜索处理，因此能够进行高效的搜索处理。

另外，在此，示出响应于滚动按钮562(、561)的按下而以八个单位滚动功能按钮的形态，但并不限定于此。例如，也可以响应于滚动按钮562(、561)的按下而以四个单位(或者功能群组单位)滚动功能按钮。

在该情况下，只需在将一部分的操作命令重复的状态下设定第一命令组M1和第二命令组M2即可。或者，也可以在从第二命令组M2排除了第一命令组M1和第二命令组M2的重复部分后的状态下，设定更新后的第二命令组M2。

<第二实施方式的其它变形例(标签显示模式)>

在上述实施方式中，对在“映射形式显示模式”中根据滚动操作而从一个操作画面转变到其它操作画面的情况下应用本发明的形态进行了说明。但是，并不限定于此。例如，也可以在根据“标签形式显示模式”中的标签切换操作而从一个操作画面转变到其它操作画面的情况下应用本发明。以下，对这样的变形例进行说明。

在“标签形式显示模式”中，根据使用了标签的切换模式而选择性地显示彼此不同的多个操作画面。在“标签形式显示模式”中，将多个(在此是二十四个)功能按钮分类为多个群组(“基本设定”群组、“原稿”群组、“布局”群组、“裁剪”群组以及“画质/浓度”群组)。该二十四个功能按钮具备与复印基本设定相关的七个功能按钮421～427和与复印应用设定相关的十七个功能按钮431～447(参照图26以及图27等)。

然后，当根据标签指定区域460(参照图26等)中的操作而从该多个群组中选择了一个群组时，将属于该选择出的一个群组的功能按钮组显示于触摸面板45内的功能按钮显示区域470(参照图26等)。另外，在标签指定区域460内设置有分别与多个群组对应的多个标签451～455。

例如，在某一时刻(例如，初始状态)的操作画面412(图26)，选择了标签指定区域460内的原稿标签452，将与该原稿标签452对应的四个功能按钮431～434显示于功能按钮显示区域470。

此后，当选择了标签指定区域460内的布局标签453时，产生画面转变，显示新的操作画面413(图27)。在操作画面413的功能按钮显示区域470显示与该布局标签453对应的六个功能按钮435～440(来代替四个功能按钮431～434)。

在该变形例中，当从图26的操作画面412转变到图27的操作画面413时，将与当前的显示对象的功能按钮(当前显示中的操作画面413内的功能按钮)435～440对应的声音操作命令组880(参照图29)决定为第一命令组M1(第一搜索范围)。此外，将与紧靠该转变之前的显示对象的功能按钮(原来的操作画面412内的功能按钮)431～434对应的声音操作命令组870(参照图28)决定为第二命令组M2(第二搜索范围)。然后，执行与第一实施方式同样的两个阶段的搜索处理。

更详细而言，在从图26的操作画面412转变到图27的操作画面413的情况下，在第二实施方式的步骤S12(S12b)中，不仅获取直到该转变前已经获取到的命令组870(与操作画面412相关的声音操作命令组)，还获取其它命令组880(与操作画面413相关的声音操作命令组)(参照图28以及图29)。由此，形成包含两个声音操作命令组870、880的命令组800(802)。

另外，如图28以及图29所示，关于与包含于操作画面(原稿群组画面)412的操作键对应的声音操作命令组870，作为项目“画面内群组”的项目值而赋予“原稿”。关于与包含于操作画面413(布局群组画面)的操作键对应的声音操作命令组880，作为项目“画面内群组”的项目值而赋予“布局”。此外，关于声音操作命令组870、880中的任意声音操作命令组，也赋予“复印标签显示”来作为各数据记录的项目“画面”的项目值(在图28以及图29中省略了图示)。

然后，将声音操作命令组880决定为第一命令组M1(步骤S23)，执行将第一命令组M1作为搜索范围的搜索处理(第一搜索处理)(步骤S24)。

更具体而言，在声音操作命令组802(参照图29)中，从多个数据记录中(锁定地)提取作为其项目“画面内群组”的项目值而规定有“布局”的数据记录(与布局群组画面413(图27)对应的数据记录)。由此，如图29所示，提取声音操作命令组880，作为第一命令组M1。换言之，将与布局群组画面413相关的声音操作命令组880设定为第一搜索范围。

此后，在步骤S26中判定了应该执行进一步的搜索处理的意思，返回到步骤S23，这一次将声音操作命令组870决定为第二命令组M2。然后，执行将第二命令组M2作为搜索范围的搜索处理(第二搜索处理)(步骤S24)。

更具体而言，在声音操作命令组802(参照图28)中，从多个数据记录中(锁定地)提取作为其项目“画面内群组”的项目值而规定有“原稿”的数据记录(与原稿群组画面412对应的数据记录)。由此，如图28所示，提取声音操作命令组870，作为第二命令组M2。换言之，将与原稿群组画面412相关的声音操作命令组870设定为第二搜索范围。然后，执行第二搜索处理。

也可以进行如上那样的动作。

另外，在第二实施方式等中，如图21的流程图所示，在紧靠第i搜索处理之前(步骤S24)执行第i文本词典的生成处理(步骤S23)，但并不限定于此。例如，也可以在紧靠步骤S12之后(步骤S13、S14等(参照图46))执行第i文本词典的生成处理。

<3.第三实施方式>

在第三实施方式中，在触摸面板45中显示有要依次显示的两个操作画面之中的第一画面且还未显示第二画面的状态下，发出操作用声音。换言之，在将一个画面当前显示于触摸面板45的状态下，在存在向使其它画面显示于触摸面板45的状态转变的可能性的状态下，发出操作用声音。然后，在这样的情况下执行两个阶段的搜索处理。

具体而言，将与该一个画面(显示中的画面之中最新调用出的画面(详细而言是第二画面的调用源的画面并在操作用声音的发出时显示的第一画面))相关的声音操作命令组设定为第一搜索对象，并首先执行第一搜索处理。接下来，将与从该一个画面能够调用的其它画面(在操作用声音的发出时还未显示的第二画面)相关的声音操作命令组设定为第二搜索对象，并执行第二搜索处理。另外，在显示该其它画面之前预先获取与该其它画面相关的声音操作命令组。

在上述第一～第三实施方式的任意方式中，第一命令组M1是与包含与MFP10相关的第一画面和根据对该第一画面的用户操作而显示的第二画面的上述两个操作画面之中的一方的画面(详细而言是显示中的画面之中最新调用的画面)相关的命令组。在该点上第一～第三实施方式是共通的。但是，在第一以及第二实施方式中，相对于将与第二画面相关的声音操作命令组设定为第一命令组M1，而在第三实施方式中将与第一画面相关的声音操作命令组设定为第一命令组M1。在第三实施方式中，以与第一实施方式以及第二实施方式的不同点为中心对这样的形态进行说明。

以下，主要对将第三实施方式的思想应用于“映射形式显示模式”(参照图22以及图23等)的形态进行说明。

例如，在将具有八个功能按钮531～538的操作画面512(图22)显示于触摸面板45的时刻，将与该操作画面512相关的声音操作命令组820(参照图24以及图25)设定为第一命令组M1并执行第一搜索处理。

进一步地，从保存部5先读(提前预先读出来)具有从操作画面512转变到的可能性的画面(作为操作画面512的转变目的地画面而具有可能性的未显示的画面)的声音操作命令组(830)。然后，将该先读到的声音操作命令组设定为第二命令组M2并执行第二搜索处理。在此，在第一搜索处理前进行与转变目的地画面相关的该声音操作命令组的读出处理。但是，并不限定于此，该声音操作命令组的读出处理可以与第一搜索处理并行地进行，或者也可以在第一搜索处理完成后进行。

图30是示出第三实施方式的动作的流程图。如将图30与图4(以及图21)比较可知的那样，主要是步骤S12的动作不同。以下，以不同点为中心进行说明。

例如，在开始了图22的操作画面512的显示的时刻，从步骤S11进入步骤S12(S12c)。然后，在步骤S12(S12c)中，获取与当前显示中(在操作用声音的发出时为显示中)的操作画面512相关的声音操作命令组(文本词典)820，并且获取与具有在该操作画面512的接下来显示的可能性的画面(在操作用声音的发出时未显示的画面)相关的声音操作命令。在此，作为具有在该操作画面512的接下来显示的可能性的画面，例示响应于滚动按钮562的按下而显示的操作画面513(参照图23)。在该情况下，也获取与该操作画面513相关的声音操作命令组830。

然后，将与当前显示中的操作画面512相关的声音操作命令组820决定为第一命令组M1(步骤S23)，执行将第一命令组M1作为搜索范围的搜索处理(第一搜索处理)(步骤S24)。

此后，在步骤S26中判定了应该执行进一步的搜索处理的意思，返回到步骤S23。另外，在第三实施方式中，在能够进行从某一画面(例如512)向其它画面(例如513)的显示变更的情况下，执行直到与上一个显示画面(例如512)相关的搜索处理。

在该步骤S23中，将与虽然具有在操作画面512的接下来显示的可能性但是还未显示的操作画面513相关的声音操作命令组830决定为第二命令组M2。然后，执行将第二命令组M2作为搜索范围的搜索处理(第二搜索处理)(步骤S24)。

在第三实施方式中，进行如上那样的动作。

根据这样的动作，不仅与当前显示中的画面(操作用声音的发出时的显示画面)512相关的声音操作命令组，而且与接下来能够显示的其它画面513相关的声音操作命令组也能够作为搜索处理的对象。因此，能够恰当地检测与多个操作画面512、513相关的多个声音操作命令之中的与用户的操作用声音对应的一个声音操作命令。

此外，由于分两个阶段进行与两个操作画面512、513相关的搜索处理，因此能够进行高效的搜索处理。详细而言，首先进行与将当前显示中且最新调用出的操作画面512相关的声音操作命令组820作为搜索范围的第一搜索处理，在该第一搜索处理不成功的情况下，进行将与其它画面513相关的声音操作命令830作为搜索范围的第二搜索处理。由此，由于先进行将两个声音操作命令组820、830之中、作为操作用声音发出的可能性比较高的声音操作命令组820作为搜索范围的搜索处理，接着进行将其它声音操作命令组830作为搜索范围的搜索处理，因此能够进行高效的搜索处理。

另外，在此，作为具有在该操作画面512的接下来显示的可能性的(至少一个)画面，例示出操作画面513(参照图23)，但并不限定于此，具有在操作画面512的接下来显示的可能性的画面例如也可以是响应于操作画面512内的滚动按钮561(图22)的按下而显示的操作画面511(参照图31)。或者具有在操作画面512的接下来显示的可能性的画面也可以是操作画面511和操作画面513这双方。

<第三实施方式的其它变形例>

在上述中，将第三实施方式的思想应用于映射形式显示模式(参照图22以及图23等)，但并不限定于此。

也可以将第三实施方式的思想应用于标签形式显示模式(参照图26以及图27等)。更具体而言，也可以在显示有图26的操作画面412的状态下接受操作用声音，将与该操作画面412相关的声音操作命令组870(参照图28)设定为第一命令组M1，并执行第一搜索处理。进一步地，也可以将与操作画面412的转变目的地的多个画面之中的至少一个画面相关的声音操作命令组设定为第二命令组M2，并执行第二搜索处理。例如，也可以将与具有在该操作画面412的接下来显示的可能性的操作画面413(参照图27)相关的声音操作命令组880(参照图29)设定为第二命令组M2，并执行第二搜索处理。

或者，也可以在仅显示有主画面210的状态下(图5)发出操作用声音，将与该主画面210相关的声音操作命令组610(参照图8)设定为第一命令组M1，并执行第一搜索处理。进一步地，也可以将与操作画面210的转变目的地的多个画面之中的至少一个画面相关的声音操作命令组设定为第二命令组M2，并执行第二搜索处理。例如，也可以作为具有在该操作画面210的接下来显示的可能性的操作画面而确定具有数字键的分画面250(参照图12)，并且将与该分画面250相关的声音操作命令组650(参照图13)设定为第二命令组M2，并执行第二搜索处理。或者，也可以作为具有在该操作画面210的接下来显示的可能性的操作画面而确定分画面230(参照图6)，并且将与该分画面230相关的声音操作命令组630(参照图9)设定为第二命令组M2，并执行第二搜索处理。

同样地，也可以在显示有主画面310的状况下(图15)，将与该主画面310相关的声音操作命令组710(参照图17)设定为第一命令组M1，并执行第一搜索处理。进一步地，也可以将与操作画面310的转变目的地的多个画面之中的至少一个画面相关的声音操作命令组设定为第二命令组M2，并执行第二搜索处理。例如，也可以作为具有在该操作画面310的接下来显示的可能性的操作画面而确定具有下拉菜单的分画面330(参照图16)，并且将与该分画面330相关的声音操作命令组730(参照图18)设定为第二命令组M2，并执行第二搜索处理。第二命令组M2包含分别与下拉列表内的两个选项(两个显示要素)321(“图像”)、322(“字符”)对应的两个声音操作命令(“GASHITSU”以及“MOJI”)。

<第三实施方式的其它变形例>

优选，构成为能够设定变更是否执行第三实施方式的动作。具体而言，优选，构成为能够(特别是针对每个用户)设定变更“是否执行将与在操作用声音的发出时还未显示的画面相关的命令组(第二命令组)作为搜索范围的搜索处理(第二搜索处理)”。具体而言，只需使用规定的设定画面(未图示)，根据用户的设定操作进行设定变更即可。然后，只需基于该设定变更的设定内容来决定是否执行与第二命令组M2相关的搜索处理即可。详细而言，只需将设定了执行将该第二命令组作为搜索范围的第二搜索处理的意思作为条件，执行将该第二命令组作为搜索范围的第二搜索处理即可。另外，在设定了不执行将该第二命令组作为搜索范围的第二搜索处理的意思的情况下，只需不执行将该第二命令组作为搜索范围的第二搜索处理，而执行直到将该第一命令组作为第一搜索范围的第一搜索处理即可。

此外，在第三实施方式等中，如图30的流程图所示，在紧靠第i搜索处理之前(步骤S24)执行第i文本词典的生成处理(步骤S23)，但并不限定于此。例如，也可以在紧靠步骤S12之后(步骤S13、S14等(参照图46))执行第i文本词典的生成处理。

<4.第四实施方式>

在第四实施方式中，以与第一实施方式等的不同点为中心，对基于MFP10的动作状态而锁定各阶段的搜索处理中的搜索范围的方式进行说明。

在第四实施方式中，伴随从第一命令组M1(和/或第二命令组M2)排除基于该MFP10的任务执行状态而被判定为不能执行的操作命令的排除处理，而执行第一搜索处理(和/或第二搜索处理)。只需在步骤S23、S25等中执行该排除处理即可。

图32是说明这样的排除处理的图。在图32的上部示出排除处理执行前的第一命令组M1的一部分，在图32的下部示出排除处理执行后的第一命令组M1的一部分。

在此，将与包含开始键(开始按钮)41、停止键(停止按钮)42、重置键(重置按钮)43和主页键(主页按钮)44的多个硬件键对应的多个声音操作命令设定为第一命令组M1的一部分。在图32(特别是上部)中，在项目栏“任务的状态”示出能够执行与各操作键对应的各声音操作命令的状态。具体而言，规定有能够在MFP10的“全部状态”下执行声音操作命令“RISETTO”以及“HOMU”、能够在“能够接受任务状态”下执行声音操作命令“SUTATO”且能够在“任务执行中状态”下执行声音操作命令“SUTOPPU”。

例如，在MFP10执行任务(复印任务或者扫描任务等)的期间(即，“任务执行中”)，不能接受新的任务(复印任务等)。直截了当地说，“任务执行中”不是“能够接受任务(状态)”。考虑到该状况，基于图32的数据表格，从第一命令组M1排除在“任务执行中”在项目“任务的状态”下规定有项目值“能够接受任务(状态)”的“声音操作命令(“SUTATO”)。换言之，判定为在“任务执行中”不能执行声音操作命令“SUTATO”，将该声音操作命令“SUTATO”从第一命令组M1排除。在图32的下部示出将声音操作命令“SUTATO”排除之后的第一命令组M1。

或者，也可以进行图33所示的那样的排除处理。在图33的上部示出排除处理执行前的第一命令组M1的一部分，在图33的下部示出排除处理执行后的第一命令组M1的一部分。

具体而言，在MFP10不执行任务(复印任务或者扫描任务等)的期间(即，“任务非执行中”)，不接受任务的停止指示。直截了当地说，“任务非执行中”不是“任务执行中”。考虑到该状况，基于图33的数据表格，从第一命令组M1排除在“任务非执行中”在项目“任务的状态”下规定有项目值“任务执行中”的“声音操作命令(“SUTOPPU”)。换言之，判定为在“任务非执行中”不能执行声音操作命令“SUTOPPU”，将该声音操作命令“SUTOPPU”从第一命令组M1排除。在图33的下部示出将声音操作命令“SUTOPPU”排除之后的第一命令组M1。

另外，在此，从第一命令组M1排除基于在MFP10中的任务执行状态而被判定为不能执行的操作命令，但并不限定于此。例如，也可以从第二命令组M2排除基于在MFP10中的任务执行状态而判定为不能执行的操作命令。或者，也可以从第一命令组M1和第二命令组M2这双方排除基于在MFP10中的任务执行状态而判定为不能执行的操作命令。

<第四实施方式的其它变形例>

同样地，也可以伴随从第一命令组M1(和/或第二命令组M2)排除基于该MFP10中的用户验证状态而被判定为不能执行的操作命令的排除处理，而执行第一搜索处理(和/或第二搜索处理)。

图34是说明这样的排除处理的图。在图34的上部示出排除处理执行前的第一命令组M1的一部分，在图34的下部示出排除处理执行后的第一命令组M1的一部分。

例如，在用户验证未完成状态下(包含不伴随用户验证的来宾用户(gust user)的使用中等)，不接受仅能够在用户验证后(用户验证完成后)使用的声音操作命令。考虑到该状况，基于图34的数据表格，从第一命令组M1排除在“用户验证未完成状态”下在项目“用户验证状态”下规定有项目值“仅能够使用于用户验证后”的“声音操作命令(“UZABOKKUSU”)。换言之，判定为在“用户验证未完成状态”下不能执行声音操作命令“UZABOKKUSU”，将该声音操作命令“UZA BOKKUSU”从第一命令组M1排除。在图34的下部示出将声音操作命令“UZA BOKKUSU”排除之后的第一命令组M1。

另外，在此，从第一命令组M1排除了基于在MFP10中的用户验证状态而被判定为不能执行的操作命令，但并不限定于此。例如，也可以从第二命令组M2排除基于在MFP10中的用户验证状态而被判定为不能执行的操作命令。或者，也可以从第一命令组M1和第二命令组M2这双方排除基于在MFP10中的用户验证状态而被判定为不能执行的操作命令排除。

<5.第五实施方式>

在上述各实施方式中，例示出赋予了与多个操作画面相关的多个搜索处理的相互间的优先顺位的形态。在该第五实施方式中，例示也基于规定的基准调整在各阶段的搜索处理(第一搜索处理以及第二搜索处理的各个)中的搜索范围中的搜索顺序的形态。以下，以与第一实施方式等的不同点为中心进行说明。

在第五实施方式中，在与第一命令组M1相关的搜索处理中，按照对包含于该第一命令组M1(第一搜索范围)的两个以上的操作命令的各个操作命令赋予的优先顺位，而依次执行该两个以上的操作命令的各个操作命令与搜索对象字符串的同一性判定处理。然后，执行该两个以上操作命令之中对应于最先与上述搜索对象字符串一致的一个声音操作命令的处理。

同样地，在与第二命令组M2相关的搜索处理中，按照对包含于该第二命令组M2(第二搜索范围)的两个以上的操作命令的各个操作命令赋予的优先顺位，而依次执行该两个以上的操作命令的各个操作命令与搜索对象字符串的同一性判定处理。然后，执行该两个以上操作命令之中对应于最先与上述搜索对象字符串一致的一个声音操作命令的处理。

根据这样的动作，能够进一步地高效地执行在各阶段的搜索处理中的搜索范围中的搜索，并且使从操作用声音的发出时刻直到该操作用声音的对应处理的执行时刻的响应性提高。

例如基于在该各阶段的搜索对象画面内的对应操作键的显示位置来决定各阶段的搜索处理中的搜索顺序(在各搜索范围中的搜索顺序)。一般而言，存在如下倾向：画面内的左上侧易于吸引人的注意，将重要的操作键配置于该左上侧。换言之，大多将某一画面内的多个操作键之中的重要的操作键(具有较高的使用频率的操作键等)在画面内配置于比较靠左上侧。

在该实施方式中，考虑到这样的情况，对多个声音操作命令，分别计算与对应操作键的位置相关的评价值F1(下述)。评价值F1是各操作键的代表点(例如左上的点)(参照图35)的坐标值(X，Y)和画面内的左上的点(原点)的距离(由X的平方和Y的平方之和的平方根示出)。然后，对多个声音操作命令之中的具有比较小的评价值F1的声音操作命令赋予比较高的优先顺位。

在图35中，示出详细设定画面310(图16)中的各操作键的代表点(各操作键的左上的点(在图中是小黑圆点))。在这样的详细设定画面310中，从其代表点存在于画面内的比较靠左上侧的操作键按顺序执行与搜索对象字符串的同一性判定处理。换言之，对其代表点存在于比较靠左上侧的操作键赋予比较高的优先顺位。具体而言，在详细设定画面310内，按操作键311、312、313、314、315、316、317、318、319的顺序执行与搜索对象字符串的同一性判定处理。详细而言，首先，执行搜索对象字符串与对应于操作键311的声音操作命令的同一性判定处理，接下来，执行搜索对象字符串与对应于操作键312的声音操作命令的同一性判定处理。进一步地，依次执行搜索对象字符串与对应于操作键313、314……的声音操作命令的同一性判定处理。

同样地，在下拉列表画面330内，按操作键321、322的顺序执行与搜索对象字符串的同一性判定处理。

例如，在图35的显示状态下在接受到声音输入的情况下，首先进行将下拉列表330内的声音操作命令组730(图17)作为搜索对象的第一搜索处理(第一阶段的搜索处理)，接下来进行将详细设定画面310的声音操作命令组710作为搜索对象的第二搜索处理(第二阶段的搜索处理)。特别是，在各阶段的搜索处理中，按上述的顺序执行与该各阶段相关的声音操作命令组内的两个以上的声音操作命令与搜索对象字符串的同一性判定处理。

这样，在各阶段的搜索处理中，对各画面内的多个声音操作命令的各个声音操作命令，赋予基于在该各画面内的对应操作键的显示位置的优先顺位。然后，在各阶段的搜索处理中，按照该优先顺位依次执行多个声音操作命令的各个声音操作命令与搜索对象字符串的同一性判定处理。

<第五实施方式的变形例1>

在上述第五实施方式中，基于在各阶段的搜索对象画面内的对象操作键的显示位置来决定各阶段的搜索处理内的搜索顺序(在各搜索范围中的优先顺位)，但并不限定于此。

具体而言，也可以基于根据规定第i声音操作命令组的第i文本词典中的特定的项目的内容而预先制定的优先顺位，决定各阶段的搜索处理中的搜索顺序。

例如，如图36的上部所示，预先制定好对应于与项目“任务的状态”相关的各项目值(“任务执行中”、“能够接受任务”、“全部状态”)的评价值F2(F21)(也称为优先级系数)。例如，对“全部状态”分配好比较低的评价值F2(比如，“0.5”)，对其它特定的状态(“任务执行中”以及“能够接受任务状态”)分配好比较高的评价值F2(比如，“1.0”、“0.9”)。然后，基于该评价值F2对某一阶段中的搜索对象即多个声音操作命令(按评价值F21由大到小的顺序(降序))排序(排列)(参照图36的下部)。按该排列后的顺序依次执行该多个声音操作命令与搜索对象字符串的同一性判定处理。具体而言，最优先(最先)执行具有最高的优先级系数“1.0”的声音操作命令“SUTOPPU”与搜索对象字符串的同一性判定处理。然后，接下来优先(第二地)执行具有次高的优先级系数“0.9”的声音操作命令“SUTATO”与搜索对象字符串的同一性判定处理。此后，执行具有再次高的优先级系数“0.5”的声音操作命令“RISETTO”与搜索对象字符串的同一性判定处理。

或者，如图37的上部所示，也可以预先制定好对应于与项目“用户验证状态”相关的各项目值(“仅用户验证后能够使用”、“大众用户也能够使用”)的评价值F2(F22)(优先级系数)。例如，对“仅用户验证后能够使用”分配好比较高的评价值F2(比如，“1.0”)，对“大众用户也能够使用”分配好比较低的评价值F2(比如，“0.5”)。然后，对在某一阶段的搜索对象即多个声音操作命令基于其评价值F2(按评价值F22由大到小的顺序)来排序(排列)(参照图37的下部)。按该排列后的顺序依次执行该多个声音操作命令与搜索对象字符串的同一性判定处理。具体而言，最优先(最先)执行具有最高的优先级系数“1.0”的声音操作命令“UZA BOKKUSU”与搜索对象字符串的同一性判定处理。然后，接下来优先(第二地)执行具有次高的优先级系数“0.5”的声音操作命令“UZA BOKKUSU”与搜索对象字符串的同一性判定处理。此后，按其它各声音操作命令的优先级系数的由大到小的顺序执行该其它各声音操作命令等与搜索对象字符串的同一性判定处理。

此外，也可以不是对应于与单一的项目相关的项目值的评价值，而是将对应于与多个项目相关的项目值用作评价值F2(F23等)。例如，作为多个项目，在考虑项目“任务的状态”和项目“用户验证状态”的情况下，只需将对应于与项目“任务的状态”相关的各项目值的评价值F21和对应于与“用户验证状态”相关的各项目值的评价值F22的积作为评价值F2(F23)求出即可。然后，也可以基于对应于与该多个项目相关的项目值的评价值F2(F23)，将某一阶段的搜索对象即多个声音操作命令(按该评价值F23由大到小的顺序)排序(排列)，并按该排序后的顺序依次执行多个声音操作命令与搜索对象字符串的同一性判定处理。

<第五实施方式的变形例2>

或者，也可以基于MFP10的状态(任务的执行状态)来决定各阶段的搜索处理中的搜索顺序(在各搜索范围中的搜索顺序)。

具体而言，如图38所示，也可以基于(与上述的评价值F2无关地)任务的执行状态，而将各声音操作命令的优先顺位(搜索顺序)从默认的顺序(图38的上部)变更为排列后的顺序(图38的下部)。

详细而言，基于MFP10为“任务执行中”，如图38的下部所示，以对与停止按钮(停止键)对应的声音操作命令“SUTOPPU”赋予最高的优先顺位的方式进行排列。

然后，按照反映出MFP10的任务执行状态的优先顺位，而依次执行各阶段的多个声音操作命令的各个声音操作命令与搜索对象字符串的统一性判定处理，从而执行与各阶段的声音操作命令组相关的搜索处理。

由此，在较早阶段判定是否赋予了请求在任务执行中快速反应的“停止”指示。换言之，由于优先执行与包含于第i搜索处理的搜索范围的两个以上的声音操作命令之中的反映MFP10的任务执行状态并应该在较早的阶段进行判定的声音操作命令的同一性判定处理，因此能够缩短搜索时间而提高反应性。

<第五实施方式的变形例3>

或者，也可以基于MFP10中的用户验证状态来决定各阶段中的搜索处理内的搜索顺序(在各搜索范围中的搜索顺序)。

具体而言，如图39所示，也可以基于(与上述的评价值F2无关地)为用户验证完成状态，而将各声音操作命令的优先顺位(搜索顺序)从默认的顺序(图39的上部)变更为排列后的顺序(图39的下部)。

在用户验证后，如图39的下部所示，以对与“用户盒”按钮(未图示)对应的声音操作命令“UZA BOKKUSU”赋予最高的优先顺位的方式进行排列。

然后，按照反映出MFP10的用户验证状态的优先顺位，而依次执行各阶段的多个声音操作命令的各个声音操作命令与搜索对象字符串的统一性判定处理，从而执行与各阶段的声音操作命令组相关的搜索处理。

由此，在用户验证后，在比与其它声音操作命令的同一性判定处理早的阶段，执行与作为操作用声音而接受的可能性比用户验证前高的声音操作命令“UZA BOKKUSU”的同一性判定处理。换言之，由于优先执行与包含于第i搜索处理的搜索范围的两个以上的声音操作命令之中的反映MFP10中的用户验证状态并应该在较早的阶段进行判定的声音操作命令的同一性判定处理，因此能够缩短搜索时间而提高反应性。

<第五实施方式的变形例4>

或者，也可以基于各声音操作命令的过去的使用次数(使用履历)来决定各阶段的搜索处理中的搜索顺序(在各搜索范围中的搜索顺序)。

图40是示出保存有各声音操作命令的过去的使用次数的使用履历表格的图。如图40所示，根据声音操作命令“KARA”的使用，将使用履历表格中的各声音操作命令的使用次数(图40的上部)更新为使用履历更新后的各声音操作命令的使用次数(图40的下部)。在图40中，将声音操作命令“KARA”的使用次数从“十”次(上部)更新为“十一”次(下部)。也可以将各声音操作命令的使用次数用作评价值F2(F24)。

此后，对该使用履历更新后的某一阶段的搜索对象即多个声音操作命令基于其评价值F24(各声音操作命令的使用次数)(按评价值F24由大到小的顺序)来排序(排列)。然后，只需按该排序后的顺序依次执行多个声音操作命令与搜索对象字符串的同一性判定处理即可。

由此，优先执行与包含于第i搜索处理的搜索范围的两个以上的声音操作命令之中的反映各声音操作命令的使用履历并应该在较早的阶段进行判定的声音操作命令的同一性判定处理，因此能够缩短搜索时间而提高反应性。

另外，在此，利用仅反映出声音操作命令自身的使用次数的评价值F2(F24)，但并不限定于此，也可以利用仅反映出与各声音操作命令(“KARA”等)对应的操作键(212等(参照图5))的使用次数的评价值F2(F25)。或者，也可以利用反映出各声音操作命令的使用次数和与该各声音操作命令对应的操作键的使用次数这双方的评价值F2(F26)。

<第五实施方式的变形例5>

此外，在判定为MFP10的负荷在一定程度以上(MFP10为高负荷状态)的情况下，也可以在从各阶段的操作命令(例如第一命令组M1)排除了低优先命令(具有比规定程度小的优先级的声音操作命令)后的基础之上，执行各阶段的搜索处理(与第一命令组M1相关的第一搜索处理等)。

例如，在MFP10的印刷引擎(印刷输出部3等)的动作中的情况下，判定为MFP10的负荷在一定程度以上(MFP10为高负荷状态)。在该情况下，只需在实施从第一命令组M1排除低优先命令的排除处理的基础之上，执行与该排除处理后的第一命令组M1相关的第一搜索处理即可。

另外，例如，只需基于如图41所示预先制定的优先级(评价值F2(F27))来判定各声音操作命令是否为低优先命令即可。在图41中，对各声音操作命令(“SUTOPPU”、“PUROGURAMU”、“KARA”、“BAIRITSU”、……)分别预先制定优先级(“1.0”、“0.6”、“0.4”、“0.3”、……)。然后，将该优先级(F27)在规定值TH1(在此是0.3)以下的声音操作命令判定为低优先命令。相反地，将具有比该规定值大的优先级(F27)的声音操作命令判定为不是低优先命令。

或者，也可以基于上述的各种评价值F2(参照图35～图41)等来判定声音操作命令是否为低优先命令。

此外，在上述，在MFP10的印刷引擎的动作中的情况下，判定MFP10为高负荷状态，但并不限定于此。例如，在MFP10中在为对扫描图像等的字符辨识处理的执行中的情况下，或者在MFP10中在为基于扫描图像等的PDF形式文件生成处理的执行中的情况下，也判定MFP10为高负荷状态的意思。

<6.第六实施方式>

在上述各实施方式中，利用预先登记有对各画面的各声音操作命令组的命令词典，获取对各画面的声音操作命令组(第i文本词典)，但并不限定于此。例如，也可以通过执行对包含于各操作画面的图像的字符进行辨识的字符识别处理(OCR处理)等，从而获取(生成)对各画面的声音操作命令组(第i文本词典)。

具体而言，通过对各画面的图像处理(详细而言是按钮图像提取处理)来提取多个按钮图像(表达操作按钮(操作键)的图像)，并且通过对该多个按钮图像内的字符串的字符辨识处理来辨识该多个按钮图像内的字符串。然后，通过提取辨识出的该字符串作为对该按钮图像的声音操作命令组等，从而生成文本词典。此时，对各声音操作命令分配对应按钮图像的代表点(例如，按钮图像的中心点)的坐标值。对上述各实施方式等中的两个画面(第一画面以及第二画面)的各个实施这些处理。这样一来，也可以生成与各画面相关的文本词典(第i文本词典)。另外，只需在图4的步骤S23或者图46的步骤S13等中执行该第i文本词典的生成处理即可。

详细而言，首先，在仅将第一画面(例如，基本菜单画面210)显示于触摸面板45的状态下(参照图5以及图42)，对该第一画面实施按钮图像提取处理以及OCR处理。

例如，如图42所示，将触摸面板45的整体图像(全部显示区域的图像)301(由特粗线包围的区域)作为处理对象，实施按钮图像提取处理以及OCR处理。由此，提取基本菜单画面210内的多个按钮图像，并且辨识该多个按钮图像内的字符串。换言之，在显示有包含第一画面(基本菜单画面210)且不包含第二画面(数字键画面250(参照图6以及图4))的第一图像301(图42)的第一显示状态下，实施对该第一图像301的OCR处理等。

然后，判定为各按钮图像内的字符串分别是对该按钮图像的声音操作命令，生成图44所示的那样的文本词典。该文本词典构成为具备基本菜单画面210内的声音操作命令组610。对各声音操作命令分别分配对应的按钮图像的坐标值(例如，该对应按钮图像的中央位置的坐标值)。例如，对声音操作命令“GENKO GASHITSU”分配“原稿画质”按钮(按钮图像)211的中央位置P62的坐标值。关于其他声音操作命令也是同样的。

接下来，根据对第一画面的用户操作而从该第一画面(例如基本菜单画面210(参照图5以及图42))调用第二画面(例如数字键画面250(参照图6以及图43))，将数字键画面250重叠地显示于基本菜单画面210。换言之，触摸面板45转变到显示有包含第一画面且也包含第二画面的第二图像302的第二显示状态。然后，MFP10执行如下那样的动作。

首先，MFP10生成(获取)转变后的触摸面板45的整体图像302(图43)和转变前的触摸面板45的整体图像301(图42)的差分图像303(图43)。获取该差分图像303作为具有第二画面的显示内容的图像。然后，将该差分图像303(换言之是第二画面(例如数字键画面250))作为处理对象，实施按钮图像提取处理以及OCR处理。在图43中，示出提取调用出的数字键250作为差分图像(用粗线保包围的区域)并仅对该差分图像实施OCR处理的情形。

由此，提取数字键画面250内的多个按钮图像，并且辨识该多个按钮图像内的字符串。然后，判定为各按钮图像内的字符串分别是对该按钮图像的声音操作命令，追加生成由图45的粗线框包围的部分的文本词典。该文本词典构成为具备数字键250内的声音操作命令组650(参照图45)。这样一来，基于对差分图像303的字符辨识处理的处理结果，确定与第二画面250相关的命令组650。此外，对各声音操作命令分别分配对应的按钮图像的坐标值(例如，该对应按钮图像的中央位置的坐标值)。例如，对声音操作命令“NI”分配数字键画面250内的“2”按钮(按钮图像)的中央位置的坐标值。关于其他声音操作命令也是同样的。

此后，执行与上述各实施方式同样的搜索处理。直截了当地说，依次执行多个阶段的搜索处理。其结果，当判定搜索对象字符串(声音辨识数据)与对任意的按钮图像的声音操作命令一致时，作为按下了该按钮图像的代表点，执行处理。

具体而言，在判定为搜素对象字符串(声音辨识数据)与分配给按钮图像“2”的声音操作命令“NI(2)”一致的情况下，作为按下了该按钮图像的代表点的坐标值(600、200)的位置，执行处理。具体而言，MFP10将复印页数变更为“2”。

或者，在判定为搜素对象字符串(声音识别数据)与分配给按钮图像“倍率”的声音操作命令“BAIRITSU”一致的情况下，作为按下了该按钮图像的代表点的坐标值(450、400)的位置，执行处理(倍率设定画面230的调用处理)。具体而言，MFP10将数字键画面250非显示化，并且对基本菜单画面210重叠显示倍率设定画面230(参照图6)。

根据以上那样动作，分别通过OCR处理而获取与各画面相关的声音操作命令组，基于该OCR的处理结果等确定第一命令组M1和第二命令组M2，执行各搜索处理(第一搜索处理以及第二搜索处理)。因此，不需要预先登记好与各画面相关的声音操作命令组，从而能够减少登记的功夫。

此外，不是通过对画面转变后的触摸面板45的整体图像302(图43)的全部的OCR处理等，而是通过对整体图像302的一部分即差分图像303的OCR处理等，获取与数字键250相关的声音操作命令组650。因此，能够避免重复的辨识处理，谋求处理的高效化。

另外，也可以在画面转变后的触摸面板45的整体图像和画面转变前的触摸面板45的整体图像的差分图像横跨触摸面板45的显示区域的整个区域时，判定为转变到了完全不同的种类的画面。然后，也可以删除直到该时刻之前所生成的文本词典，基于对与该整个区域相关的图像的OCR处理等而生成包含与该整个区域相关的声音操作命令组的新的文本词典。

<7.第七实施方式>

在上述各实施方式中，将在各阶段的搜索处理中将最先与搜索对象字符一致的声音操作命令判定为用户期望的声音操作命令作为前提，但并不限定于此。

例如，也可以在各阶段的搜索处理中，不管有无与搜索对象字符串的一致，都依次执行与包含于各阶段的文本词典(第i文本词典)的所有的声音操作命令的同一性判定处理。由此，在该所有的声音操作命令之中两个以上的声音操作命令与搜索对象字符串一致的情况下，能够无遗漏地提取该两个声音操作命令。在第七实施方式中，对这样的形态进行说明。

这样，在各阶段的搜索处理中，在从该阶段的第i文本词典之中检测到与搜索对象字符串一致的两个以上的声音操作命令的情况下，关于该两个以上的声音操作命令中的任意声音操作命令是否为用户期望的声音操作命令，例如只需基于来自用户的操作输入(在此是声音操作)决定即可。具体而言，只需接受与该两个以上的声音操作命令对应的多个选项中的用户期望的选项的选择即可。

在图47中，对基本菜单画面210重叠地显示有与纸张相关的详细设定画面280。在这样的显示状况下，当由用户发出操作用声音“EYON(A4)”并执行了搜索对应于该发出的内容(声音输入)的声音操作命令的搜索动作(两个阶段的搜索动作等)时，检测到分别与四个操作键281～284对应的四个选项(声音操作命令)“EYON”。然后，如图47所示，对该四个操作键281～284的各个相关联地显示对白框图像。对多个对白框图像赋予有用于识别彼此的号码(识别码)。具体而言，对操作键281赋予“1”、对操作键282赋予“2”、对操作键283赋予“3”、对操作键284赋予“4”。

当用户从这些选项中进一步地发出与期望的选项对应的号码(例如SAN“3”)时，MFP10辨识(声音辨识)该发出的内容。由此，接受与该两个以上的声音操作命令对应的多个选项中的用户期望的选项(例如，操作键283)的选择(指定)。MFP10基于所指定的选择键(接受到的期望的选项)来决定该一个声音操作命令，并执行对应于该一个声音操作命令的处理。

<8.变形例等>

以上，对该发明的实施方式进行了说明，但该发明并不限定于上述所说明的内容。

例如，在上述各实施方式中，在各阶段的搜索处理中，不显示与由用户发出的声音相关的声音辨识结果以及搜索处理结果等，但并不限定于此，也可以显示与发出的声音相关的声音辨识结果等。

具体而言，在显示有基本菜单画面210的状况下，在发出(输入有)“ETO，BAIRITSU”的声音的情况下，只需将图48所示的那样的内容作为声音辨识结果显示于触摸面板45即可。在图48中，在触摸面板45的中央显示有“输入有下一声音。“ETO，BAIRITSU””的字符串，作为声音辨识结果的字符串，示出“ETO，BAIRITSU”。

或者，也可以将图49那样的内容作为搜索处理的处理结果(的一部分)而显示。

在图49中，示出与声音输入相关的声音辨识结果之中的作为声音操作命令而辨识出的字符串(换言之，搜索处理的结果，作为包含于声音辨识数据的字符串之中与一个声音操作命令一致的字符串而搜索(检测)到的字符串)。具体而言，通过“作为命令辨识出下述的单词。“BAIRITSU””的语句而示出将声音输入“BAIRITSU”辨识为声音操作命令的意思。

进一步地，示出与声音输入相关的声音辨识结果之中、未被作为声音操作命令辨识出的字符串(换言之，搜索处理的结果，与多个声音操作命令的任意声音操作命令均不一致的字符串(未由搜索处理搜索(检测)到的字符串))。具体而言，通过“下述的单词无法被辨识为命令。“ETO””的语句而示出未将声音输入“ETO”辨识为声音操作命令的意思。

此外，如图50所示，也可以示出与由搜索处理检测到的一个声音操作命令对应的显示要素(操作键等)的画面内位置。在图50中，使“在基本菜单画面内的该区域中进行了点击。”的语句显示于触摸面板45的中央区域，并且由中空箭头示出与该一个声音操作命令对应的操作键215的位置。根据图50那样的显示形态，用户能够确认MFP10根据声音“BAIRITSU”的发出的声音操作接受到与“倍率”键215的按下指示同等的指示。

或者，在第三实施方式中，也可以在显示有图22的操作画面512的状态下在发出“SHITAJICYOSEI(基底调整)”(与未显示的操作画面513(图23)内的操作键545对应的声音操作命令)的情况下，获取(确定)直到最终操作与该声音操作命令对应的该操作键545的原本的操作顺序(手动按下操作时的操作顺序)，并且重现基于该操作顺序的画面转变等。

具体而言，MFP10在进行上述各实施方式那样的两个阶段的搜索处理之后，当检测到与搜索对象字符串“SHITAJICYOSEI”一致的一个声音操作命令“SHITAJICYOSEI”时，首先，确定与一个声音操作命令“SHITAJICYOSEI”对应的操作键545。此外，也确定通过在当前的显示画面512中按下一次滚动键562使画面转变产生(显示操作画面513)而能够显示操作键545。即，MFP10获取包含滚动键562的按下操作和在伴随该按下操作的画面转变后显示的操作键545的按下操作的操作顺序。另外，也被表达为：操作画面512中的滚动键562的按下操作是显示操作画面513的操作，滚动键562是用于进行显示操作画面513的操作的操作键。

然后，MFP10将这样的操作顺序以运动画面的形态(作为动画)显示于触摸面板45。

详细而言，首先，MFP10在横跨规定期间(例如一秒间)进行滚动按钮562的强调显示，从而示出在操作画面512中正在进行与滚动按钮562的选择时相同的动作的意思(参照图51)。

此后，MFP10(仿真地)产生与在操作画面512中按下了滚动按钮562时相同的事件、即滚动按钮562的操作事件(按下了滚动按钮562的代表位置的内部事件)。

然后，MFP10根据该内部事件的产生，执行从操作画面512(图51)到操作画面513(参照图23以及图52)的画面转变。另外，该画面转变优选在其转变中使显示内容慢慢地滚动地转变的形态。

当该画面转变完成时，这一次，MFP10在横跨规定期间(例如一秒钟)进行功能按钮545的强调显示(以特定颜色的显示和/或闪烁显示等)，从而示出正在进行与操作画面513内的功能按钮(基底调整按钮)545的选择时相同的动作的意思(参照图52)。

此后，MFP10(仿真地)产生功能按钮545的操作事件(按下了功能按钮545的代表位置的意思的内部事件等)。

然后，MFP10根据该内部事件的产生，将根据功能按钮545的按下而显示的详细显示画面(未图示)重叠地显示于操作画面513。

这样一来，也可以伴随产生与搜索到的声音操作命令对应的操作键的按下事件，进行运动画面的形态的显示。

或者，也可以在显示有图22的操作画面512的状况下在发出“SHITAJICYOSEI(基底调整)”的情况下(参照第三实施方式)，通过将图53的显示图像显示于触摸面板45而示出搜索处理结果。在图53中，使包含显示于操作画面512(图22)的功能按钮531～538和显示于操作画面513(图23)的功能按钮539～546这双方的多个功能按钮539～547在横向上配置成一排。另外，在图53的显示图像中，由于一排显示该多个功能按钮，因此与图22比较而缩小地显示与操作画面512对应的区域。

在图53中，将在横向上一排配置有该多个功能按钮的功能按钮排之中的与在搜索处理中搜索到的字符串对应的操作键545作为声音操作的操作对象而明示出。具体而言，将包含“在该位置找到了期望的设定(“基底调整”。)”的语句的对白框图像以指示出在该功能按钮排内的操作键545的位置的方式进行显示。

此外，在上述各实施方式中，MFP19执行声音辨识处理，MFP10从MFP10自身获取该声音辨识处理的处理结果，但并不限定于此。例如，也可以通过与MFP10协作的便携信息终端(或外部服务器)来执行声音辨识处理，MFP10从该便携信息终端等获取声音辨识处理的处理结果。

Claims (59)

1.一种图像处理装置，其特征在于具备：

显示单元；

获取单元，获取作为与在至少一个操作画面显示于所述显示单元的状态下发出的声音相关的声音辨识结果的声音辨识数据；

决定单元，基于所述声音辨识数据来决定搜索对象字符串；

搜索单元，执行对多个声音操作命令之中的与所述搜索对象字符串一致的一个声音操作命令进行搜索的搜索处理，该多个声音操作命令包含与和所述图像处理装置相关的第一画面相关的声音操作命令组和与根据对所述第一画面的用户操作而显示的第二画面相关的声音操作命令组；以及

命令执行单元，执行与由所述搜索单元搜索到的所述一个声音操作命令对应的处理，

所述搜索单元执行第一搜索处理，在该第一搜索处理中将所述多个声音操作命令之中的被赋予了第一顺位的搜索优先顺位的第一命令组作为搜索范围，

在通过将所述第一命令组作为搜索范围的所述第一搜索处理未检测到所述搜索对象字符串的情况下，所述搜索单元执行第二搜索处理，在该第二搜索处理中将所述多个声音操作命令之中的被赋予了第二顺位的搜索优先顺位的第二命令组作为搜索范围，

所述第一命令组是与第一优先画面相关的声音操作命令组，该第一优先画面是所述第一画面和所述第二画面这两个操作画面之中的在所述声音的发出时正在显示中的画面且是在所述声音的发出时之前最新调用出的画面，

所述第二命令组是与第二优先画面相关的声音操作命令组，该第二优先画面是所述两个操作画面之中的和所述第一优先画面不同的画面。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述第一优先画面是根据对所述第一画面的用户操作而在所述声音的发出时显示的所述第二画面，

所述第二优先画面是所述第一画面。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述两个操作画面是彼此不同的层级的画面，

所述获取单元获取与在将所述两个操作画面的双方显示于所述显示单元的状态下发出的所述声音相关的所述声音辨识结果。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述获取单元获取与在将所述两个操作画面的双方显示于所述显示单元且所述第一画面的至少一部分被所述第二画面遮挡地显示的状态下发出的所述声音相关的所述声音辨识结果，

所述搜索单元在从与所述第一画面对应的所述第二命令组排除了与被所述第二画面遮挡的显示要素对应的命令的状态下，执行与所述第二命令组相关的所述第二搜索处理。

5.根据权利要求3所述的图像处理装置，其特征在于，

所述获取单元获取与在将所述两个操作画面的双方显示于所述显示单元且所述第一画面的至少一部分被所述第二画面遮挡地显示的状态下发出的所述声音相关的所述声音辨识结果，

所述图像处理装置还具备设定单元，该设定单元设定在与所述第二命令组相关的所述第二搜索处理的执行时是否将与被所述第二画面遮挡的显示要素对应的命令从与所述第一画面对应的所述第二命令组排除，

所述搜索单元基于所述设定单元的设定内容来执行与所述第二命令组相关的所述第二搜索处理。

6.根据权利要求2所述的图像处理装置，其特征在于，

所述显示单元依次显示所述两个操作画面，

所述获取单元获取与在所述显示单元中未显示所述两个操作画面之中的所述第一画面且显示有所述第二画面的状态下发出的所述声音相关的所述声音辨识结果。

7.根据权利要求1所述的图像处理装置，其特征在于，

所述显示单元依次显示所述两个操作画面，

所述获取单元获取与在所述显示单元中显示有所述两个操作画面之中的所述第一画面且还未显示所述第二画面的状态下发出的所述声音相关的所述声音辨识结果，

所述第一优先画面是作为所述第二画面的调用源的画面的在所述声音的发出时显示的所述第一画面，

所述第二优先画面是在所述声音的发出时还未显示的、根据对所述第一画面的用户操作而显示的所述第二画面。

8.根据权利要求7所述的图像处理装置，其特征在于，

还具备设定单元，设定是否执行所述第二搜索处理，在该第二搜索处理中将作为与在所述声音的发出时还未显示的所述第二画面相关的命令组的所述第二命令组作为搜索范围，

所述搜索单元将设定了执行将所述第二命令组作为搜索范围的所述第二搜索处理的意思作为条件，执行所述第二搜索处理。

9.根据权利要求7或8所述的图像处理装置，其特征在于，

在从所述第二命令组中检测到与所述搜索对象字符串一致的所述一个声音操作命令的情况下，所述显示单元确定用于进行显示包含与所述一个声音操作命令对应的操作键的所述第二画面的操作的第一操作键，并使所述第一操作键的操作事件产生，从而显示所述第二画面。

10.根据权利要求9所述的图像处理装置，其特征在于，

所述显示单元执行对第二操作键进行强调显示的显示处理，该第二操作键是包含于根据所述第一操作键的所述操作事件的产生而显示的所述第二画面内的多个操作键之中的与所述一个声音操作命令对应的操作键，

所述命令执行单元通过产生所述第二操作键的操作事件而执行对应于所述一个声音操作命令的处理。

11.根据权利要求2所述的图像处理装置，其特征在于，

在所述第二画面是通知警告的警告画面的情况下，即使在通过所述第一搜索处理未检测到所述搜索对象字符串时，至少在解除所述警告之前，所述搜索单元都不执行将所述第二命令组作为搜索范围的所述第二搜索处理，其中，该第一搜索处理将作为与所述第二画面相关的声音操作命令组的所述第一命令组作为搜索范围。

12.根据权利要求1至11中的任意一项所述的图像处理装置，其特征在于，

所述搜索单元将基于所述图像处理装置的任务执行状态而判定为不能执行的操作命令从所述第一命令组和/或所述第二命令组排除，从而执行所述搜索处理。

13.根据权利要求1至11中的任意一项所述的图像处理装置，其特征在于，

所述搜索单元将基于所述图像处理装置中的用户验证状态而判定为不能执行的操作命令从所述第一命令组和/或所述第二命令组排除，从而执行所述搜索处理。

14.根据权利要求1至13中的任意一项所述的图像处理装置，其特征在于，

所述搜索单元按照赋予给包含于所述第一命令组的两个以上的操作命令的各个操作命令的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理，并且将所述两个以上的操作命令之中最先与所述搜索对象字符串一致的操作命令确定为所述一个声音操作命令，从而执行与所述第一命令组相关的所述第一搜索处理，

所述命令执行单元执行和所述两个以上的操作命令之中的最先与所述搜索对象字符串一致的所述一个声音操作命令对应的处理。

15.根据权利要求14所述的图像处理装置，其特征在于，

所述搜索单元在与所述第一命令组相关的所述第一搜索处理中，按照对包含于所述第一命令组的所述两个以上的操作命令的各个操作命令预先制定的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理。

16.根据权利要求14所述的图像处理装置，其特征在于，

所述搜索单元在与所述第一命令组相关的所述第一搜索处理中，按照赋予给包含于所述第一命令组的所述两个以上的操作命令的各个操作命令的、基于在所述第一优先画面内的对应操作键的显示位置而决定的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理。

17.根据权利要求14所述的图像处理装置，其特征在于，

所述搜索单元在与所述第一命令组相关的所述第一搜索处理中，按照赋予给包含于所述第一命令组的所述两个以上的操作命令的各个操作命令的、反映出所述图像形成装置的任务执行状态的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理。

18.根据权利要求14所述的图像处理装置，其特征在于，

所述搜索单元在与所述第一命令组相关的所述第一搜索处理中，按照赋予给包含于所述第一命令组的所述两个以上的操作命令的各个操作命令的、反映出所述图像形成装置中的用户验证状态的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理。

19.根据权利要求14所述的图像处理装置，其特征在于，

所述搜索单元在与所述第一命令组相关的所述第一搜索处理中，按照赋予给包含于所述第一命令组的所述两个以上的操作命令的各个操作命令的、反映出与所述两个以上的操作命令的各个操作命令相关的使用履历的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理。

20.根据权利要求14所述的图像处理装置，其特征在于，

所述搜索单元按照赋予给包含于所述第一命令组的所述两个以上的操作命令的各个操作命令的、反映出与所述两个以上的操作命令的各个操作命令对应的各操作键的使用履历的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理。

21.根据权利要求14至20中的任意一项所述的图像处理装置，其特征在于，

在判定为所述图像处理装置的负荷在一定程度以上的情况下，所述搜索单元将具有比规定程度小的优先级的操作命令从所述第一命令组排除，从而执行与所述第一命令组相关的所述第一搜索处理。

22.根据权利要求1至13中的任意一项所述的图像处理装置，其特征在于，

所述搜索单元按照赋予给包含于所述第二命令组的两个以上的操作命令的各个操作命令的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理，并且将所述两个以上的操作命令之中的最先与所述搜索对象字符串一致的操作命令确定为所述一个声音操作命令，从而执行与所述第二命令组相关的所述第二搜索处理，

所述命令执行单元执行和所述两个以上的操作命令之中的最先与所述搜索对象字符串一致的所述一个声音操作命令对应的处理。

23.根据权利要求1至22中的任意一项所述的图像处理装置，其特征在于，

还具备接受单元，在与所述第一命令组相关的所述第一搜索处理中，在从所述一个命令组中检测到与所述搜索对象字符串一致的两个以上的命令的情况下，该接受单元接受与该两个以上的命令对应的多个选项中的用户期望的选项的选择，

所述搜索单元基于由所述接受单元接受到的所述期望的选项来决定所述一个声音操作命令，

所述命令执行单元执行与所述两个以上的命令之中的所述一个声音操作命令对应的处理。

24.根据权利要求1至23中的任意一项所述的图像处理装置，其特征在于，

还具备保存单元，保存预先登记有与所述第一画面相关的声音操作命令组和与所述第二画面相关的声音操作命令组的命令词典，

所述搜索单元基于所述命令词典获取所述第一命令组并执行所述第一搜索处理，基于所述命令词典获取所述第二命令组并执行所述第二搜索处理。

25.根据权利要求1至23中的任意一项所述的图像处理装置，其特征在于，

还具备字符辨识单元，执行对包含于所述操作画面的图像的字符进行辨识的字符辨识处理，

所述搜索单元基于与所述第一画面和所述第二画面分别相关的字符辨识处理的处理结果来确定所述第一命令组和所述第二命令组，从而执行所述搜索处理。

26.根据权利要求3至5中的任意一项所述的图像处理装置，其特征在于，

还具备字符辨识单元，执行对包含于所述操作画面的图像的字符进行辨识的字符辨识处理，

所述显示单元从显示有包含所述第一画面且不包含所述第二画面的第一图像的第一显示状态转变到显示有包含所述第一画面且也包含所述第二画面的第二图像的第二显示状态，

所述搜索单元生成所述第一显示状态下的所述第一图像和所述第二显示状态下的所述第二图像的差分图像，基于对该差分图像的字符辨识处理的处理结果，确定与所述第二画面相关的命令组，从而执行所述搜索处理。

27.根据权利要求1至26中的任意一项所述的图像处理装置，其特征在于，

所述显示单元将作为包含于所述声音辨识数据的字符串之中的与所述一个声音操作命令一致的字符串而搜索到的字符串，作为所述搜索处理的处理结果来显示。

28.根据权利要求1至27中的任意一项所述的图像处理装置，其特征在于，

所述显示单元将包含于所述声音辨识数据的字符串之中的与所述多个声音操作命令的任意声音操作命令均不一致的字符串，作为所述搜索处理的处理结果来显示。

29.根据权利要求1至28中的任意一项所述的图像处理装置，其特征在于，

所述显示单元示出与由所述搜索处理检测到的所述一个声音操作命令对应的显示要素的画面内位置。

30.一种控制方法，用于控制图像处理装置，其特征在于具备：

步骤a)，获取作为与在将至少一个操作画面显示于图像处理装置的显示单元的状态下发出的声音相关的声音辨识结果的声音辨识数据，并基于所述声音辨识数据来决定搜索对象字符串；

步骤b)，执行对多个声音操作命令之中的与所述搜索对象字符串一致的一个声音操作命令进行搜索的搜索处理，该多个声音操作命令包含与和所述图像处理装置相关的第一画面相关的声音操作命令组和与根据对所述第一画面的用户操作而显示的第二画面相关的声音操作命令组；以及

步骤c)，执行与在所述步骤b)中搜索到的所述一个声音操作命令对应的处理，

所述步骤b)具备：

步骤b-1)，执行第一搜索处理，在该第一搜索处理中将所述多个声音操作命令之中的被赋予了第一顺位的搜索优先顺位的第一命令组作为搜索范围；以及

步骤b-2)，在通过将所述第一命令组作为搜索范围的所述第一搜索处理未检测到所述搜索对象字符串的情况下，执行第二搜索处理，在该第二搜索处理中将所述多个声音操作命令之中的被赋予了第二顺位的搜索优先顺位的第二命令组作为搜索范围，

所述第一命令组是与第一优先画面相关的声音操作命令组，该第一优先画面是所述第一画面和所述第二画面这两个操作画面之中的在所述声音的发出时正在显示中的画面且是在所述声音的发出时之前最新调用出的画面，

所述第二命令组是与第二优先画面相关的声音操作命令组，该第二优先画面是所述两个操作画面之中的和所述第一优先画面不同的画面。

31.根据权利要求30所述的控制方法，其特征在于，

所述第一优先画面是根据对所述第一画面的用户操作而在所述声音的发出时显示的所述第二画面，

所述第二优先画面是所述第一画面。

32.根据权利要求31所述的控制方法，其特征在于，

所述两个操作画面是彼此不同的层级的画面，

所述步骤a)获取与在将所述两个操作画面的双方显示于所述显示单元的状态下发出的所述声音相关的所述声音辨识结果。

33.根据权利要求32所述的控制方法，其特征在于，

所述步骤a)获取与在将所述两个操作画面的双方显示于所述显示单元且所述第一画面的至少一部分被所述第二画面遮挡地显示的状态下发出的所述声音相关的所述声音辨识结果，

所述步骤b)在从与所述第一画面对应的所述第二命令组排除了与被所述第二画面遮挡的显示要素对应的命令的状态下，执行与所述第二命令组相关的所述第二搜索处理。

34.根据权利要求32所述的控制方法，其特征在于，

所述步骤a)获取与在将所述两个操作画面的双方显示于所述显示单元且所述第一画面的至少一部分被所述第二画面遮挡地显示的状态下发出的所述声音相关的所述声音辨识结果，

所述控制方法还具备设定在与所述第二命令组相关的所述第二搜索处理的执行时是否将与被所述第二画面遮挡的显示要素对应的命令从与所述第一画面对应的所述第二命令组排除的步骤，

所述步骤b)基于进行设定的所述步骤的设定内容来执行与所述第二命令组相关的所述第二搜索处理。

35.根据权利要求31所述的控制方法，其特征在于，

所述显示单元依次显示所述两个操作画面，

所述步骤a)获取与在所述显示单元中未显示所述两个操作画面之中的所述第一画面且显示有所述第二画面的状态下发出的所述声音相关的所述声音辨识结果。

36.根据权利要求30所述的控制方法，其特征在于，

所述显示单元依次显示所述两个操作画面，

所述步骤a)获取与在所述显示单元中显示有所述两个操作画面之中的所述第一画面且还未显示所述第二画面的状态下发出的所述声音相关的所述声音辨识结果，

所述第一优先画面是作为所述第二画面的调用源的画面的在所述声音的发出时显示的所述第一画面，

所述第二优先画面是在所述声音的发出时还未显示的、根据对所述第一画面的用户操作而显示的所述第二画面。

37.根据权利要求36所述的控制方法，其特征在于，

还具备设定是否执行所述第二搜索处理的步骤，在该第二搜索处理中将作为与在所述声音的发出时还未显示的所述第二画面相关的命令组的所述第二命令组作为搜索范围，

所述步骤b)将设定了执行将所述第二命令组作为搜索范围的所述第二搜索处理的意思作为条件，执行所述第二搜索处理。

38.根据权利要求36或37所述的控制方法，其特征在于，

在从所述第二命令组中检测到与所述搜索对象字符串一致的所述一个声音操作命令的情况下，所述显示单元确定用于进行显示包含与所述一个声音操作命令对应的操作键的所述第二画面的操作的第一操作键，并使所述第一操作键的操作事件产生，从而显示所述第二画面。

39.根据权利要求38所述的控制方法，其特征在于，

所述显示单元执行对第二操作键进行强调显示的显示处理，该第二操作键是包含于根据所述第一操作键的所述操作事件的产生而显示的所述第二画面内的多个操作键之中的与所述一个声音操作命令对应的操作键，

所述步骤c)通过产生所述第二操作键的操作事件而执行对应于所述一个声音操作命令的处理。

40.根据权利要求31所述的控制方法，其特征在于，

所述步骤b)在所述第二画面是通知警告的警告画面的情况下，即使在通过所述第一搜索处理未检测到所述搜索对象字符串时，至少在解除所述警告之前，都不执行将所述第二命令组作为搜索范围的所述第二搜索处理，其中，该第一搜索处理将作为与所述第二画面相关的声音操作命令组的所述第一命令组作为搜索范围。

41.根据权利要求30至40中的任意一项所述的控制方法，其特征在于，

所述步骤b)将基于所述图像处理装置的任务执行状态而判定为不能执行的操作命令从所述第一命令组和/或所述第二命令组排除，从而执行所述搜索处理。

42.根据权利要求30至40中的任意一项所述的控制方法，其特征在于，

所述步骤b)将基于所述图像处理装置中的用户验证状态而判定为不能执行的操作命令从所述第一命令组和/或所述第二命令组排除，从而执行所述搜索处理。

43.根据权利要求30至42中的任意一项所述的控制方法，其特征在于，

所述步骤b)按照赋予给包含于所述第一命令组的两个以上的操作命令的各个操作命令的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理，并且将所述两个以上的操作命令之中最先与所述搜索对象字符串一致的操作命令确定为所述一个声音操作命令，从而执行与所述第一命令组相关的所述第一搜索处理，

所述步骤c)执行和所述两个以上的操作命令之中的最先与所述搜索对象字符串一致的所述一个声音操作命令对应的处理。

44.根据权利要求43所述的控制方法，其特征在于，

所述步骤b)在与所述第一命令组相关的所述第一搜索处理中，按照对包含于所述第一命令组的所述两个以上的操作命令的各个操作命令预先制定的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理。

45.根据权利要求43所述的控制方法，其特征在于，

所述步骤b)在与所述第一命令组相关的所述第一搜索处理中，按照赋予给包含于所述第一命令组的所述两个以上的操作命令的各个操作命令的、基于在所述第一优先画面内的对应操作键的显示位置而决定的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理。

46.根据权利要求43所述的控制方法，其特征在于，

所述步骤b)在与所述第一命令组相关的所述第一搜索处理中，按照赋予给包含于所述第一命令组的所述两个以上的操作命令的各个操作命令的、反映出所述图像形成装置的任务执行状态的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理。

47.根据权利要求43所述的控制方法，其特征在于，

所述步骤b)在与所述第一命令组相关的所述第一搜索处理中，按照赋予给包含于所述第一命令组的所述两个以上的操作命令的各个操作命令的、反映出所述图像形成装置中的用户验证状态的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理。

48.根据权利要求43所述的控制方法，其特征在于，

所述步骤b)在与所述第一命令组相关的所述第一搜索处理中，按照赋予给包含于所述第一命令组的所述两个以上的操作命令的各个操作命令的、反映出与所述两个以上的操作命令的各个操作命令相关的使用履历的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理。

49.根据权利要求43所述的控制方法，其特征在于，

所述步骤b)按照赋予给包含于所述第一命令组的所述两个以上的操作命令的各个操作命令的、反映出与所述两个以上的操作命令的各个操作命令对应的各操作键的使用履历的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理。

50.根据权利要求43至49中的任意一项所述的控制方法，其特征在于，

所述步骤b)在判定为所述图像处理装置的负荷在一定程度以上的情况下，将具有比规定程度小的优先级的操作命令从所述第一命令组排除，从而执行与所述第一命令组相关的所述第一搜索处理。

51.根据权利要求30至42中的任意一项所述的控制方法，其特征在于，

所述步骤b)按照赋予给包含于所述第二命令组的两个以上的操作命令的各个操作命令的优先顺位，依次执行所述两个以上的操作命令的各个操作命令与所述搜索对象字符串的同一性判定处理，并且将所述两个以上的操作命令之中的最先与所述搜索对象字符串一致的操作命令确定为所述一个声音操作命令，从而执行与所述第二命令组相关的所述第二搜索处理，

所述步骤c)执行和所述两个以上的操作命令之中的最先与所述搜索对象字符串一致的所述一个声音操作命令对应的处理。

52.根据权利要求30至51中的任意一项所述的控制方法，其特征在于，

还具备在与所述第一命令组相关的所述第一搜索处理中，在从所述一个命令组中检测到与所述搜索对象字符串一致的两个以上的命令的情况下，接受与该两个以上的命令对应的多个选项中的用户期望的选项的选择的步骤，

所述步骤b)基于由进行接受的所述步骤接受到的所述期望的选项来决定所述一个声音操作命令，

所述步骤c)执行与所述两个以上的命令之中的所述一个声音操作命令对应的处理。

53.根据权利要求30至52中的任意一项所述的控制方法，其特征在于，

还具备保存预先登记有与所述第一画面相关的声音操作命令组和与所述第二画面相关的声音操作命令组的命令词典的步骤，

所述步骤b)基于所述命令词典获取所述第一命令组并执行所述第一搜索处理，基于所述命令词典获取所述第二命令组并执行所述第二搜索处理。

54.根据权利要求30至52中的任意一项所述的控制方法，其特征在于，

还具备执行对包含于所述操作画面的图像的字符进行辨识的字符辨识处理的步骤，

所述步骤b)基于与所述第一画面和所述第二画面分别相关的字符辨识处理的处理结果来确定所述第一命令组和所述第二命令组，从而执行所述搜索处理。

55.根据权利要求32至34中的任意一项所述的控制方法，其特征在于，

还具备执行对包含于所述操作画面的图像的字符进行辨识的字符辨识处理的步骤，

所述显示单元从显示有包含所述第一画面且不包含所述第二画面的第一图像的第一显示状态转变到显示有包含所述第一画面且也包含所述第二画面的第二图像的第二显示状态，

所述步骤b)生成所述第一显示状态下的所述第一图像和所述第二显示状态下的所述第二图像的差分图像，基于对该差分图像的字符辨识处理的处理结果，确定与所述第二画面相关的命令组，从而执行所述搜索处理。

56.根据权利要求30至55中的任意一项所述的控制方法，其特征在于，

所述显示单元将作为包含于所述声音辨识数据的字符串之中与所述一个声音操作命令一致的字符串而搜索到的字符串，作为所述搜索处理的处理结果来显示。

57.根据权利要求30至56中的任意一项所述的控制方法，其特征在于，

所述显示单元将包含于所述声音辨识数据的字符串之中与所述多个声音操作命令的任意声音操作命令均不一致的字符串，作为所述搜索处理的处理结果来显示。

58.根据权利要求30至57中的任意一项所述的控制方法，其特征在于，

所述显示单元示出与由所述搜索处理检测到的所述一个声音操作命令对应的显示要素的画面内位置。

59.一种计算机可读取的记录介质，保存有使权利要求30至58中的任意一项所述的控制方法在内置于所述图像处理装置的计算机中执行的程序。