CN103718153A - 用户接口装置、车载用信息装置、信息处理方法及程序 - Google Patents

Abstract

输入方法判定部（2）判定硬件按钮是短按还是长按，输入切换控制部（4）切换模式。如果是短按，则判定为触摸操作模式，触摸-指令变换部（3）将与被短按的硬件按钮对应的项目变换为指令。如果是长按，则判定为声音操作模式，声音-指令变换部（10）将声音识别出的声音识别关键字变换为指令（项目值）。状态转变控制部（5）生成与指令对应的应用程序执行命令，应用程序执行部（11）执行应用程序。

Description

用户接口装置、车载用信息装置、信息处理方法及程序

技术领域

本发明涉及用户接口装置、车载用信息装置、信息处理方法以及信息处理程序，执行与由用户实施的触摸显示器操作和声音操作相应的处理。

背景技术

以往在导航装置、音响装置、免提电话等车载用信息装置中，采用了利用触摸显示器、操纵杆、旋转拨号盘以及声音等的操作方法。

关于触摸显示器操作，用户触摸在与触摸面板成为一体的显示器画面上显示的按钮而反复画面转变，执行目标功能。在该方法中，能够直接触摸在显示器中显示的按钮，所以能够进行直观的操作。

关于利用操纵杆、旋转拨号盘以及遥控器等其他设备的操作，用户通过操作这些设备而使光标对准在显示器画面上显示的按钮，反复通过选择或者决定该按钮而实现的画面转变，执行目标功能。在该方法中，需要使光标对准目标按钮，相比于触摸显示器操作，不能称之为直观的操作。

另外，关于这些操作方法，用户只要选择在画面中显示的按钮就能够操作，所以易于理解，但操作步骤数多，花费操作时间。

另一方面，关于声音操作，用户发声一次或者多次被称为声音识别关键字的词汇来执行目标功能。由于还能够操作未被显示在画面上的项目，所以能够缩短操作步骤以及操作时间，但用户要记住预先决定的独特的声音操作方法以及声音识别关键字，如果不按照那样来发声就无法操作，所以使用困难。另外，通常通过按下在方向盘附近仅准备了1个的发声按钮（硬件按钮）、或者在画面上仅准备了1个的发声按钮这样的方法来进行声音操作的开始，但还有很多情况是直至执行目标功能为止必须与车载信息装置进行多次对话，在该情况下操作步骤数和操作时间都变多。

进而，还提出组合了触摸显示器操作和声音操作的操作方法。例如，在专利文献1的声音识别装置中，用户通过将与在触摸显示器中显示的各数据输入栏关联起来的按钮按下并发声，将声音识别的结果输入到数据输入栏并显示。

另外，在例如专利文献2的导航装置中，在通过声音识别检索地名或者道路名时，用户从触摸显示器上的键盘输入地名或者道路名的开头的字符或者字符串并确定，之后发声。

专利文献1：日本特开2001-42890号公报

专利文献2：日本特开2010-38751号公报

发明内容

如上所述，存在触摸显示器操作的操作层次深，无法缩短操作步骤数以及操作时间这样的课题。

另一方面，声音操作需要记住预先决定的独特的操作方法以及声音识别关键字并按照那样进行发声，存在操作困难这样的课题。另外，还存在很多时候即便按下发声按钮也“不知要说什么好”的情况而无法操作这样的课题。

另外，上述专利文献1是在数据输入栏中通过声音识别进行数据输入的技术，无法进行伴随画面转变的操作以及功能执行。进而，由于没有对可输入到数据输入栏的预先决定的项目进行一览的方法、或者从一览中选择目标项目的方法，所以存在如果没记住可输入的项目的声音识别关键字就无法进行操作这样的课题。

另外，上述专利文献2是通过在进行声音识别之前输入开头字符或者字符串并发声从而提高声音识别的准确性的技术，需要通过触摸显示器操作来进行字符输入以及确定操作。因此，存在相比于检索所发声的地名或者道路名的以往的声音操作，无法减少操作步骤数以及操作时间这样的课题。

本发明是为了解决上述那样的课题而完成的，其目的在于，在保持确保触摸显示器操作的易懂性的状态下，无需记住独特的声音操作方法以及声音识别关键字就能实现直观且易于理解的声音操作，缩短操作步骤数以及操作时间。

本发明的用户接口装置，具备：触摸-指令变换部，根据触摸显示器的输出信号，生成第1指令，该第1指令用于使得执行与在该触摸显示器中显示且被进行了触摸动作的按钮对应的处理；声音-指令变换部，使用包含与处理对应起来的声音识别关键字的声音识别辞典，对与触摸动作大致同时或者接着触摸动作的用户发声进行声音识别，变换为第2指令，该第2指令是用于使得执行与该声音识别的结果对应的处理的指令，并且该第2指令使得执行与第1指令的处理关联的处理组中的被分类为比该处理下层的处理；以及输入切换控制部，根据基于触摸显示器的输出信号的触摸动作的状态，切换执行与触摸-指令变换部生成的第1指令对应的处理的触摸操作模式、或者执行与声音-指令变换部生成的第2指令对应的处理的声音操作模式。

本发明的车载用信息装置，具备：触摸显示器以及麦克风，被搭载于车辆；触摸-指令变换部，根据触摸显示器的输出信号，生成第1指令，该第1指令用于使得执行与在该触摸显示器中显示且被进行了触摸动作的按钮对应的处理；声音-指令变换部，使用包含与处理对应起来的声音识别关键字的声音识别辞典，对麦克风收集的与触摸动作大致同时或者接着触摸动作的用户发声进行声音识别，变换为第2指令，该第2指令是用于使得执行与该声音识别的结果对应的处理的指令，并且该第2指令使得执行与第1指令的处理关联的处理组中的被分类为比该处理下层的处理；以及输入切换控制部，根据基于触摸显示器的输出信号的触摸动作的状态，切换执行与触摸-指令变换部生成的第1指令对应的处理的触摸操作模式、或者执行与声音-指令变换部生成的第2指令对应的处理的声音操作模式。

本发明的信息处理方法，具备：触摸输入检测步骤，根据触摸显示器的输出信号，检测向在该触摸显示器中显示的按钮进行的触摸动作；输入方法判定步骤，根据基于触摸输入检测步骤的检测结果的触摸动作的状态，判定是触摸操作模式还是声音操作模式；触摸-指令变换步骤，在输入方法判定步骤中判定是触摸操作模式的情况下，根据触摸输入检测步骤的检测结果，生成第1指令，该第1指令用于使得执行与被进行了触摸动作的按钮对应的处理；声音-指令变换步骤，在输入方法判定步骤中判定是声音操作模式的情况下，使用包含与处理对应起来的声音识别关键字的声音识别辞典，对与触摸动作大致同时或者接着触摸动作的用户发声进行声音识别，变换为第2指令，该第2指令是用于使得执行与该声音识别的结果对应的处理的指令，并且该第2指令使得执行与第1指令的处理关联的处理组中的被分类为比该处理下层的处理；以及处理执行步骤，执行与在触摸-指令变换步骤中生成的第1指令、或者在声音-指令变换步骤中生成的第2指令对应的处理。

本发明的信息处理程序，用于使计算机执行如下步骤：触摸输入检测步骤，根据触摸显示器的输出信号，检测向在该触摸显示器中显示的按钮进行的触摸动作；输入方法判定步骤，根据基于触摸输入检测步骤的检测结果的触摸动作的状态，判定是触摸操作模式还是声音操作模式；触摸-指令变换步骤，在输入方法判定步骤中判定是触摸操作模式的情况下，根据触摸输入检测步骤的检测结果，生成第1指令，该第1指令用于使得执行与被进行了触摸动作的按钮对应的处理；声音-指令变换步骤，在输入方法判定步骤中判定是声音操作模式的情况下，使用包含与处理对应起来的声音识别关键字的声音识别辞典，对与触摸动作大致同时或者接着触摸动作的用户发声进行声音识别，变换为第2指令，该第2指令是用于使得执行与该声音识别的结果对应的处理的指令，并且该第2指令使得执行与第1指令的处理关联的处理组中的被分类为比该处理下层的处理；以及处理执行步骤，执行与在触摸-指令变换步骤中生成的第1指令、或者在声音-指令变换步骤中生成的第2指令对应的处理。

本发明的用户接口装置，具备：触摸-指令变换部，根据来自被进行了基于用户的触摸动作的输入设备的输出信号，生成第1指令，该第1指令用于使得执行与该输入设备关联起来的处理或者该输入设备当前选择的处理；声音-指令变换部，使用包含与处理对应起来的声音识别关键字的声音识别辞典，对与向输入设备进行的触摸动作大致同时或者接着触摸动作的用户发声进行声音识别，变换为第2指令，该第2指令是用于使得执行与该声音识别的结果对应的处理的指令，并且该第2指令用于使得执行与第1指令的处理关联的处理组中的被分类为比该处理下层的处理；以及输入切换控制部，根据基于输入设备的输出信号的触摸动作的状态，切换执行与触摸-指令变换部生成的第1指令对应的处理的触摸操作模式、或者执行与声音-指令变换部生成的第2指令对应的处理的声音操作模式。

根据本发明，由于设为根据向在触摸显示器中显示的按钮进行触摸的触摸动作的状态来判定是触摸操作模式还是声音操作模式，所以能够通过一个按钮来切换输入通常的触摸操作和与该按钮关联的声音操作，能够确保触摸操作的易懂性。另外，第2指令设为使得执行与第1指令的处理关联的处理组中的被分类为比该处理下层的处理的指令，用户通过边对一个按钮进行触摸动作边发声，能够使得执行与该按钮关联的下层的处理，所以无需记住独特的声音操作方法以及声音识别关键字就能够实现直观且易于理解的声音操作，能够缩短操作步骤数和操作时间。

另外，根据本发明，不限于在触摸显示器中显示的按钮，也可以根据向硬件按钮等输入设备进行触摸的触摸动作的状态来判定是触摸操作模式还是声音操作模式，能够通过一个输入设备来切换输入通常的触摸操作和与该输入设备关联的声音操作。

附图说明

图1是示出本发明的实施方式1的车载用信息装置的结构的框图。

图2是示出实施方式1的车载用信息装置的动作的流程图。

图3是说明实施方式1的车载用信息装置的画面转变例子的图，是与AV功能有关的画面例子。

图4是示出实施方式1的车载用信息装置的输入方法判定处理的流程图。

图5是说明实施方式1的车载用信息装置的、触摸动作与输入方法的关系的图。

图6是示出实施方式1的车载用信息装置的利用触摸操作输入的应用程序执行命令制作处理的流程图。

图7A是说明实施方式1的车载用信息装置具有的状态转变表的一个例子的图。

图7B是实施方式1的车载用信息装置具有的状态转变表的接续的图。

图7C是实施方式1的车载用信息装置具有的状态转变表的接续的图。

图7D是实施方式1的车载用信息装置具有的状态转变表的接续的图。

图7E是实施方式1的车载用信息装置具有的状态转变表的接续的图。

图8是说明实施方式1的车载用信息装置的画面转变例子的图，是与电话功能有关的画面例子。

图9是示出实施方式1的车载用信息装置的利用声音操作输入的应用程序执行命令制作处理的流程图。

图10是说明实施方式1的车载用信息装置的声音识别辞典的图。

图11A是说明实施方式1的车载用信息装置的画面转变例子的图，是与导航功能有关的画面例子。

图11B是说明实施方式1的车载用信息装置的画面转变例子的图，是与导航功能有关的画面例子。

图12是示出本发明的实施方式2的车载用信息装置的结构的框图。

图13是示出实施方式2的车载用信息装置的动作的流程图。

图14是说明实施方式2的车载用信息装置的画面转变例子的图，是与电话功能有关的画面例子。

图15是说明实施方式2的车载用信息装置具有的状态转变表的一个例子的图。

图16是示出实施方式2的车载用信息装置的利用声音操作输入的应用程序执行命令制作处理的流程图。

图17是说明实施方式1的车载用信息装置的声音识别对象词辞典的图。

图18是说明实施方式2的车载用信息装置的画面转变例子的图，是与导航功能有关的画面例子。

图19是说明实施方式2的车载用信息装置的画面转变例子的图，是与导航功能有关的画面例子。

图20是示出本发明的实施方式3的车载用信息装置的结构的框图。

图21是示出实施方式3的车载用信息装置的输出方法决定处理的流程图。

图22是示出实施方式3的车载用信息装置的声音操作输入时的电话画面的图。

图23是示出实施方式3的车载用信息装置的声音操作输入时的列表画面的图。

图24是示出本发明的实施方式4的车载用信息装置具备的硬件按钮和触摸显示器的结构例子的图。

图25是说明实施方式4的车载用信息装置的画面转变例子的图，是触摸操作模式时的画面例子。

图26是说明实施方式4的车载用信息装置的画面转变例子的图，是声音操作模式时的画面例子。

图27是示出本发明的实施方式5的车载用信息装置具备的硬件按钮和显示器的结构例子的图。

图28是说明实施方式5的车载用信息装置的画面转变例子的图，是声音操作模式时的画面例子。

图29是示出本发明的实施方式6的车载用信息装置具备的硬件按钮和显示器的结构例子的图。

图30是说明实施方式6的车载用信息装置的画面转变例子的图，是触摸操作模式时的画面例子。

图31是说明实施方式6的车载用信息装置的画面转变例子的图，是声音操作模式时的画面例子。

图32是示出本发明的实施方式7的车载用信息装置具备的显示器和操纵杆的结构例子的图。

图33是示出本发明的实施方式8的车载用信息装置具备的显示器和触摸板的结构例子的图。

图34是示出应用了本发明的实施方式9的用户接口装置的带录像功能的电视和遥控器的结构例子的图。

图35是示出应用了实施方式9的用户接口装置的烧饭机的结构例子的图。

图36是示出应用了实施方式9的用户接口装置的微波炉的结构例子的图。

图37是说明本发明的实施方式10的车载用信息装置的、触摸动作与输入方法的关系的图。

图38A是示出实施方式10的车载用信息装置具备的硬件按钮和显示器的结构例子的图。

图38B是说明实施方式10的车载用信息装置的画面转变例子的图。

【符号说明】

1、1a：触摸输入检测部；2：输入方法判定部；3：触摸-指令变换部；4、4a、4b：输入切换控制部；5：状态转变控制部；6：状态转变表存储部；7：声音识别辞典DB；8：声音识别辞典切换部；9、9a：声音识别部；10：声音-指令变换；11、11a：应用程序执行部；12：数据储存部；13、13b：输出控制部；14：网络；20：声音识别对象词辞典制作部；30：输出方法决定部；31：输出数据存储部；100～105、113、114、122、123、132：硬件按钮；106：触摸显示器；107：方向盘；108、121、131：显示器；109：操纵杆；110：触摸板；111：电视；112：遥控器；120：烧饭机；130：微波炉。

具体实施方式

以下，为了更详细地说明本发明，依照附图说明具体实施方式。

实施方式1.

如图1所示，车载用信息装置包含：触摸输入检测部1、输入方法判定部2、触摸-指令变换部3、输入切换控制部4、状态转变控制部5、状态转变表存储部6、声音识别辞典DB7、声音识别辞典切换部8、声音识别部9、声音-指令变换部10、应用程序执行部11、数据储存部12以及输出控制部13。该车载用信息装置提供用户接口，该用户接口与触摸面板和显示器成为一体的触摸显示器、麦克风、扬声器等输入输出设备（未图示）连接，进行信息的输入输出，并依照用户的操作进行期望的画面显示以及功能执行。

触摸输入检测部1根据来自触摸显示器的输入信号，检测用户是否触摸了在该触摸显示器上显示的按钮（或者特定的触摸区域）。

输入方法判定部2根据触摸输入检测部1的检测结果，判定用户想要通过触摸操作进行输入（触摸操作模式）、或者想要通过声音操作进行输入（声音操作模式）。

触摸-指令变换部3将由触摸输入检测部1检测出的用户触摸了的按钮变换为指令。详细后述，在该指令中包括项目名和项目值，向状态转变控制部5交付指令（项目名、项目值），向输入切换控制部4交付项目名。该项目名构成第1指令。

输入切换控制部4依照通过输入方法判定部2判定的输入方法的判定结果（触摸操作或者声音操作），将用户希望触摸操作模式和声音操作模式中的哪一个通知到状态转变控制部5，将状态转变控制部5的处理切换为触摸操作模式或者声音操作模式。进而，输入切换控制部4在是声音操作模式的情况下将从触摸-指令变换部3输入的项目名（即指示用户触摸了的按钮的信息）交付给状态转变控制部5和声音识别辞典切换部8。

状态转变控制部5在从输入切换控制部4被通知了触摸操作模式的情况下，根据在状态转变表存储部6中储存的状态转变表，将从触摸-指令变换部3输入的指令（项目名、项目值）变换为应用程序执行命令，然后交付给应用程序执行部11。详细后述，在该应用程序执行命令中包括指定转变目的地画面的信息以及指定应用程序执行功能的信息这两方或者某一方的信息。

另外，状态转变控制部5在从输入切换控制部4被通知了声音操作模式和指令（项目名）的情况下，直至从声音-指令变换部10被输入指令（项目值）为止一直待机，如果被输入了指令（项目值），则根据在状态转变表存储部6中储存的状态转变表，将组合了这些项目名和项目值的指令变换为应用程序执行命令，交付给应用程序执行部11。

状态转变表存储部6储存有规定了指令（项目名、项目值）与应用程序执行命令（转变目的地画面、应用程序执行功能）的对应关系的信息转变表。详细后述。

声音识别辞典DB7是声音操作模式时的声音识别处理中使用的声音识别辞典的数据库，储存有声音识别关键字。对声音识别关键字链接了对应的指令（项目名）。

声音识别辞典切换部8将从输入切换控制部4输入的指令（项目名）通知给声音识别部9，切换为包括该项目名所链接的声音识别关键字的声音识别辞典。

声音识别部9参照在声音识别辞典DB7中储存的声音识别辞典中的、由链接有从声音识别辞典切换部8通知的指令（项目名）的声音识别关键字群构成的声音识别辞典，对来自麦克风的声音信号进行声音识别处理而变换为字符串等，输出到声音-指令变换部10。

声音-指令变换部10将声音识别部9的声音识别结果变换为指令（项目值）而交给状态转变控制部5。该项目值构成第2指令。

应用程序执行部11利用在数据储存部12中储存的各种数据，进行与从状态转变控制部5通知的应用程序执行命令相应的画面转变或者应用程序功能的执行。另外，应用程序执行部11能够与网络14连接来进行与外部的通信，详细后述，还能够根据应用程序功能的种类与外部进行通信以及通话、或者根据需要向数据储存部12储存所取得的数据。该应用程序执行部11和状态转变控制部5构成处理执行部。

数据储存部12储存了如下内容等各种数据：在由应用程序执行部11执行画面转变或者应用程序功能时需要的导航功能用的数据（包括地图数据库）；视听（以下AV）功能用的数据（包括音乐数据以及影像数据）；在车辆中搭载的空调等车辆设备控制用的数据、免提通话等电话功能用的数据（包括电话簿）；应用程序执行部11经由网络14从外部取得的（包括拥堵信息、特定的WEB站点的URL等）、且在执行应用程序功能时对用户提供的信息。

输出控制部13将应用程序执行部11的执行结果在触摸显示器中进行画面显示、或者从扬声器进行声音输出。

接下来，说明车载用信息装置的动作。

图2是示出实施方式1的车载用信息装置的动作的流程图。图3示出由车载用信息装置实施的画面转变例子，此处，车载用信息装置作为初始状态，设为将应用程序执行部11可执行的功能的一览作为按钮显示于触摸显示器上（应用程序一览画面P01）。该图3是将应用程序一览画面P01的“AV”按钮作为基点而展开的AV功能的画面转变例子，应用程序一览画面P01是最上层次的画面（和与各按钮关联起来的功能）。在应用程序一览画面P01的下一层中有与“AV”按钮关联起来的AV源一览画面P11的画面（和与各按钮所关联起来的功能）。进而，在AV源一览画面P11的下一层中有与AV源一览画面P11的各按钮关联起来的FM台一览画面P12、CD画面P13、交通信息无线电画面P14、MP3画面P15、和与各画面的各按钮关联起来的功能。

以下，将画面转变到下一层次的情况简称为“转变”。例如，是画面从应用程序一览画面P01变更为AV源一览画面P11的情况。另一方面，将画面转变到向下离开一个以上的层次、或者转变到不同的功能的情况称为“跳跃转变”。例如，是画面从应用程序一览画面P01变更为FM台一览画面P12的情况、或者从AV源一览画面P11变更为导航功能的画面的情况。

在步骤ST100中，触摸输入检测部1检测用户是否触摸了在触摸显示器上显示的按钮。另外，在检测到触摸的情况下（步骤ST100“是”），触摸输入检测部1根据来自触摸显示器的输出信号，输出表示如何触摸了哪个按钮的触摸信号（是按压操作还是触摸一定时间的操作等）。

在步骤ST110中，触摸-指令变换部3根据从触摸输入检测部1输入的触摸信号，将所触摸到的按钮变换为指令（项目名、项目值）来进行输出。在按钮中设定了按钮名称，触摸-指令变换部3将按钮名称作为指令的项目名和项目值。例如，在触摸显示器上显示的“AV”按钮的指令（项目名、项目值）是（AV、AV）。

在步骤ST120中，输入方法判定部2根据从触摸输入检测部1输入的触摸信号，判定并输出用户想要进行触摸操作还是想要进行声音操作的输入方法。

此处，使用图4所示的流程图，来说明输入方法的判定处理。

输入方法判定部2在步骤ST121中从触摸输入检测部1接受触摸信号的输入，接着在步骤ST122中根据触摸信号判定输入方法。

设为如图5所示，针对触摸操作以及声音操作分别预先决定了触摸动作。在例1的情况下，在用户希望通过触摸操作模式使得执行应用程序功能时进行按压触摸显示器上的该应用程序功能用的按钮的动作，在希望通过声音操作模式执行时进行对该按钮触摸一定时间的动作。触摸显示器的输出信号根据触摸动作而不同，所以输入方法判定部2根据触摸信号来判定进行了哪个触摸动作即可。

另外例如，也可以如例2那样，通过按钮被全按下还是被半按下，判定用户希望触摸操作和声音操作中的哪一个的输入方法，也可以如例3那样，通过按钮被单击敲击还是被双击敲击来判定，也可以如例4那样，通过按钮被短按还是被长按来判定。在触摸显示器是无法物理上区分全按和半按的结构的情况下，也可以进行如下处理：如果按压的压力是阈值以上则视为全按，如果小于阈值则视为半按等。

这样，通过针对一个按钮分开使用2种触摸动作，从而能够判定针对一个按钮想要通过触摸操作和声音操作中的哪一个操作来进行输入。

在接下来的步骤ST123中，输入方法判定部2向输入切换控制部4输出表示是触摸操作还是声音操作的某一个输入方法的判定结果。

使说明返回图2的流程图。在步骤ST130中，状态转变控制部5如果从输入切换控制部4被输入的判定结果是触摸操作模式（步骤ST130“是”），则进入到步骤ST140，通过触摸操作输入生成应用程序执行命令。另一方面，如果判定结果是声音操作模式（步骤ST130“否”），则进入到步骤ST150，通过声音操作输入生成应用程序执行命令。

此处，使用图6所示的流程图，说明利用触摸操作输入的应用程序执行命令的生成方法。

在步骤ST141中，状态转变控制部5从触摸-指令变换部3取得在输入方法的判定处理时被触摸的按钮的指令（项目名、项目值），在接着的步骤ST142中根据在状态转变表存储部6中储存的状态转变表，将所取得的指令（项目名、项目值）变换为应用程序执行命令。

图7A是说明状态转变表的一个例子的图，示出对图3的应用程序一览画面P01的按钮中的“AV”、“电话”以及“导航”按钮设定的指令和应用程序执行命令。

状态转变表包含“当前的状态”、“指令”以及“应用程序执行命令”这3个信息。当前的状态是指在步骤ST100的触摸检测时在触摸显示器上显示的画面。

如上所述，指令的项目名附加有与在画面中显示的按钮名称相同的名字。例如，应用程序一览画面P01的“AV”按钮的项目名是“AV”。

在指令的项目值中，有附加了与按钮名称相同的名字的项目值、和附加了不同的名字的项目值。如上所述，在触摸操作模式中，指令的项目值与项目名相同、即是按钮名称。

另一方面，在声音操作模式的情况下，项目值是声音识别结果，为用户希望执行的功能的声音识别关键字。在用户触摸“AV”按钮，并发声了该按钮名称“AV”的情况下，成为项目名和项目值相同的指令（AV、AV）。在用户触摸按钮“AV”，并发声了不同的声音识别关键字“FM”的情况下，成为项目名和项目值不同的指令（AV、FM）。

在应用程序执行命令中，包括“转变目的地画面”以及“应用程序执行功能”的一方或者两方。转变目的地画面是指，指示通过对应的指令移动的目的地的画面的信息。应用程序执行功能是指，指示通过对应的指令执行的功能的信息。

另外，在图7A的状态转变表的情况下，应用程序一览画面P01被设定在最上层，在其下层设定了AV，对AV的下层设定了FM、CD、交通信息以及MP3。另外，对FM的下层设定了A广播台以及B广播台。另外，与AV相同的层次的电话以及导航分别是不同的应用程序功能。

此处，说明在触摸操作输入的情况下，从指令变换为应用程序执行命令的例子。

当前的状态是图3所示的应用程序一览画面P01。然后，根据图7A的状态转变表，对该画面的“AV”按钮链接着指令（AV、AV），作为对应的应用程序执行命令，设定了转变目的地画面“P11（AV源一览画面）”和应用程序执行功能“-（无）”。因此，状态转变控制部5将从触摸-指令变换部3输入的指令（AV、AV）变换为“画面转变到AV源一览画面P11”这样的应用程序执行命令。

另外例如，设为当前的状态成为图3所示的FM台一览画面P12。在该情况下，根据图7B的状态转变表，对该画面的“A广播台”按钮链接着指令（A广播台、A广播台），作为对应的应用程序执行命令，设定了转变目的地画面“-”和应用程序执行功能“选台A广播台”。因此，状态转变控制部5将从触摸-指令变换部3输入的指令（A广播台、A广播台）变换为“选台A广播台”这样的应用程序执行命令。

另外例如，设为当前的状态成为图8所示的电话簿列表画面P22。该图8是将应用程序一览画面P01的“电话”按钮作为基点而展开的电话功能的画面转变例子。在该情况下，根据图7C的状态转变表，对该画面的电话簿列表的“山田○○”按钮链接着指令（山田○○、山田○○），作为对应的应用程序执行命令设定了转变目的地画面“P23（电话簿画面）”和应用程序执行功能“显示山田○○的电话簿”。因此，状态转变控制部5将从触摸-指令变换部3输入的指令（山田○○、山田○○）变换为“画面转变到电话簿画面P23，显示山田○○的电话簿”这样的应用程序执行命令。

在接着的步骤ST143中，状态转变控制部5将从指令变换出的应用程序执行命令输出到应用程序执行部11。

接下来，使用图9所示的流程图，说明利用声音操作输入的应用程序执行命令的生成方法。

在步骤ST151中，声音识别辞典切换部8将切换为与从输入切换控制部4输入的项目名（即用户触摸了的按钮）关联的声音识别辞典的指示输出到声音识别部9。

图10是说明声音识别辞典的图。例如，在触摸显示器上显示了按钮的状态下用户进行了按钮的操作的情况下，在应切换的声音识别辞典中包括（1）被触摸的按钮的声音识别关键字、（2）处于被触摸的按钮的下层画面中的所有声音识别关键字、（3）虽然未处于被触摸的按钮的下层但与该按钮关联的声音识别关键字。

（1）是包括被触摸的按钮的按钮名称等，能够与通过触摸操作输入按下了按钮的情况同样地，向接下来的画面转变以及执行功能的声音识别关键字。

（2）是能够向被触摸的按钮的下层跳跃转变、或者执行处于跳跃转变后的画面中的功能的声音识别关键字。

（3）是能够向虽然未处于被触摸的按钮的下层但有关联的功能的画面跳跃转变、或者执行处于跳跃转变后的画面中的功能的声音识别关键字。

另外例如，在触摸显示器上显示了列表项目按钮的列表画面中用户进行了列表项目的操作的情况下，在应切换的声音识别辞典中包括（1）被触摸的列表项目按钮的声音识别关键字、（2）处于被触摸的列表项目按钮的下层画面中的所有声音识别关键字、（3）虽然未处于被触摸的列表项目按钮的下层但与该按钮关联的声音识别关键字。

另外，在按钮操作以及列表项目按钮操作的情况下，（3）的声音识别关键字并非必须，如果无关联的内容则无需包括。

此处，具体说明声音识别辞典的切换。

当前的状态是图3所示的应用程序一览画面P01。然后，在输入方法的判定处理中触摸检测到的“AV”按钮的指令（AV、AV）中的项目名（AV）被输入到声音识别辞典切换部8。因此，声音识别辞典切换部8示出切换为来自声音识别辞典DB7中的与“AV”关联的声音识别辞典的指示。

与“AV”关联的声音识别辞典如以下所述。

（1）作为被触摸的按钮的声音识别关键字，有“AV”。

（2）作为处于被触摸的按钮的下层画面中的所有声音识别关键字有“FM”、“AM”、“交通信息”、“CD”、“MP3”、“TV”。作为处于“FM”按钮的下层画面（P12）中的声音识别关键字有“A广播台”、“B广播台”、“C广播台”等。包含处于关于“FM”按钮以外的按钮的各下层画面（P13、P14、P15···）中的声音识别关键字。

（3）作为虽然未处于被触摸的按钮的下层但与该按钮关联的声音识别关键字，例如，有处于“信息”按钮的下层画面中的声音识别关键字。通过包括信息关联的声音识别关键字“节目表”，能够显示例如当前能够收听的无线电节目或者能够观看的电视节目的节目表。

另外例如，设为当前的状态是图3所示的AV源一览画面P11。然后，将在输入方法的判定处理中被触摸的“FM”按钮的指令（FM、FM）中的项目名（FM）从输入切换控制部4输入到声音识别辞典切换部8。因此，声音识别辞典切换部8示出切换为来自声音识别辞典DB7中的与“FM”关联的声音识别辞典的指示。

与“FM”关联的声音识别辞典如下所述。

（1）作为被触摸的按钮的声音识别关键字有“FM”。

（2）作为处于被触摸的按钮的下层画面中的所有声音识别关键字有“A广播台”、“B广播台”、“C广播台”等。

（3）作为虽然未处于被触摸的按钮的下层但与该按钮关联的声音识别关键字，例如有处于“信息”按钮的下层画面中的声音识别关键字。通过包括信息关联的声音识别关键字“主页”，能够显示例如当前选台中的广播台的主页，观察所广播的节目的详细、以及正在传播的乐曲的曲名以及艺术家名等。

另外，作为（3）的例子，在例如图10的“购物”列表项目按钮的下层中有“便利店”这样的类型，但在关联的“就餐”列表项目按钮中也包括“便利店”类型的声音识别关键字的情况下，不仅能够从“购物”转变到“便利店”，而且还能够从“就餐”跳跃转变到“便利店”。

在接着的步骤ST152中，声音识别部9针对从麦克风输入的声音信号，使用声音识别辞典DB7中的声音识别辞典切换部8指示了的声音识别辞典来进行声音识别处理，检测并输出声音操作输入。例如，在图3所示的应用程序一览画面P01中，在用户将“AV”按钮触摸了一定时间（或者半按、双击敲击、长按等）的情况下，声音识别辞典切换为主要由与“AV”关联的声音识别关键字构成的声音识别辞典。进而，在层次转变到下面的画面的情况下，在用户将例如AV源一览画面P11的“FM”按钮触摸了一定时间的情况下，切换为声音识别辞典主要由与“FM”关联的声音识别关键字构成。即，从AV的声音识别辞典中缩减了声音识别关键字。

因此，通过切换为进一步缩减了的声音识别辞典，能够期待提高声音识别率。

接着在步骤ST153中，声音-指令变换部10将从声音识别部9输入的指示声音识别关键字的声音识别结果变换为对应的指令（项目值）而输出。

在步骤ST154中，状态转变控制部5根据在状态转变表存储部6中储存的状态转变表，将由从输入切换控制部4输入的项目名和从声音-指令变换部10输入的项目值构成的指令变换为应用程序执行命令。

此处，说明在声音操作输入的情况下，从指令变换为应用程序执行命令的例子。

当前的状态是图3所示的应用程序一览画面P01。另外，在用户边对“AV”按钮触摸一定时间边发声为声音识别关键字“AV”的情况下，状态转变控制部5得到的指令是（AV、AV）。因此，状态转变控制部5与触摸操作输入的情况同样地，根据图7A的状态转变表，将指令（AV、AV）变换为“画面转变到AV源一览画面P11”这样的应用程序执行命令。

另外例如，在用户边对应用程序一览画面P01的“AV”按钮触摸一定时间边发声为声音识别关键字“A广播台”的情况下，状态转变控制部5得到的指令是（AV、A广播台）。因此，状态转变控制部5根据图7A的状态转变表，将指令（AV、A广播台）变换为“转变画面到FM台一览画面P12，选台A广播台”这样的应用程序执行命令。

另外例如，在用户边对应用程序一览画面P01的“电话”按钮触摸一定时间边发声为声音识别关键字“山田○○”的情况下，状态转变控制部5得到的指令是（电话、山田○○）。因此，状态转变控制部5根据图7A的状态转变表，将指令（电话、山田○○）变换为“画面转变到电话簿画面P23，显示山田○○的电话簿”这样的应用程序执行命令。

接着在步骤ST155中，状态转变控制部5将从指令变换出的应用程序执行命令输出到应用程序执行部11。

使说明返回到图2的流程图。在步骤ST160中，应用程序执行部11依照从状态转变控制部5输入的应用程序执行命令，从数据储存部12取得必要的数据来进行画面转变以及功能执行的一方或者两方。在接着的步骤ST170中，输出控制部13通过显示以及声音等输出应用程序执行部11的画面转变以及功能执行的结果。

此处，说明基于应用程序执行部11和输出控制部13的应用程序的执行例子。

在用户希望对FM台的A广播台进行选台的情况下，如果使用触摸操作输入，则按压图3所示的应用程序一览画面P01的“AV”按钮而转变到AV源一览画面P11。接下来，按压AV源一览画面P11的“FM”按钮而转变到FM台一览画面P12。接下来，按压FM台一览画面P12的“A广播台”按钮而选台A广播台。

此时，车载用信息装置依照图2所示的流程图，通过触摸输入检测部1对应用程序一览画面P01的“AV”按钮的按压进行检测，通过输入方法判定部2判定为触摸操作，从输入切换控制部4对状态转变控制部5通知是触摸操作输入的意思。另外，触摸-指令变换部3将表示“AV”按钮的按压的触摸信号变换为指令（AV、AV），状态转变控制部5将该指令根据图7A的状态转变表变换为应用程序执行命令“画面转变到AV源一览画面P11”。然后，应用程序执行部11依照应用程序执行命令，从数据储存部12的AV功能用的数据群取得构成AV源一览画面P11的数据而生成画面，输出控制部13将该画面显示于触摸显示器中。

接下来，进行用户的触摸动作，所以通过触摸输入检测部1检测AV源一览画面P11的“FM”按钮的按压，通过输入方法判定部2判定为触摸操作，从输入切换控制部4对状态转变控制部5通知是触摸操作输入的意思。另外，触摸-指令变换部3将表示“FM”按钮的按压的触摸信号变换为指令（FM、FM），状态转变控制部5将该指令根据图7B的状态转变表变换为应用程序执行命令“画面转变到FM台一览画面P12”。然后，应用程序执行部11从数据储存部12的AV功能用的数据群取得构成FM台一览画面P12的数据而生成画面，输出控制部13将该画面显示于触摸显示器中。

接下来，进行用户的触摸动作，所以通过触摸输入检测部1对FM台一览画面P12的“A广播台”按钮的按压进行检测，通过输入方法判定部2判定为触摸操作，从输入切换控制部4对状态转变控制部5通知是触摸操作输入的意思。另外，触摸-指令变换部3将表示“A广播台”按钮的按压的触摸信号变换为指令（A广播台、A广播台），状态转变控制部5将该指令根据图7A的状态转变表变换为应用程序执行命令“选台A广播台”。然后，应用程序执行部11从数据储存部12的AV功能用的数据群取得控制汽车音响的指令等，输出控制部13控制汽车音响而选台到A广播台。

另一方面，如果使用声音操作输入，则用户边对图3所示的应用程序一览画面P01的“AV”按钮触摸一定时间边发声为“A广播台”而选台A广播台。

此时，车载用信息装置依照图2所示的流程图，通过触摸输入检测部1检测对“AV”按钮的一定时间的接触，通过输入方法判定部2判定为声音操作，从输入切换控制部4对状态转变控制部5通知是声音操作输入的意思。另外，触摸-指令变换部3将表示“AV”按钮的接触的触摸信号变换为项目名（AV），输入切换控制部4将该项目名通知给状态转变控制部5和声音识别辞典切换部8。然后，声音识别部9切换为声音识别辞典切换部8指示的声音识别辞典而对发声为“A广播台”进行声音识别，声音-指令变换部10将声音识别结果变换为项目值（A广播台）而通知给状态转变控制部5。状态转变控制部5将指令（AV、A广播台）根据图7A的状态转变表变换为应用程序执行命令“转变到FM台一览画面P12，选台A广播台”。然后，应用程序执行部11从数据储存部12的AV功能用的数据群取得构成FM台一览画面P12的数据而生成画面，并且从该数据群取得控制汽车音响的指令等，输出控制部13将该画面显示于触摸显示器中，并且控制汽车音响而选台到A广播台。

这样，在触摸操作输入中能够通过3个步骤执行A广播台的选台，但在声音操作输入中能够通过1个步骤来执行。

另外例如，在用户想要向山田○○打电话的情况下，如果使用触摸操作输入，则按压图8所示的应用程序一览画面P01的“电话”按钮而转变到电话画面P21。接下来，按压电话画面P21的“电话簿”按钮而转变到电话簿列表画面P22。接下来，直至显示电话簿列表画面P22的“山田○○”为止，反复滚动，然后通过按下“山田○○”按钮而转变到电话簿画面P23。由此，能够显示对山田○○打电话的画面。在打电话时按压电话簿画面P23的“呼叫”按钮而与通话线路连接。

此时，车载用信息装置依照图2所示的流程图，通过触摸输入检测部1对“电话”按钮的按压进行检测，通过输入方法判定部2判定为触摸操作，从输入切换控制部4对状态转变控制部5通知是触摸操作输入的意思。另外，触摸-指令变换部3将表示“电话”按钮的按压的触摸信号变换为指令（电话、电话），状态转变控制部5将该指令根据图7A的状态转变表变换为应用程序执行命令“画面转变到电话画面P21”。然后，应用程序执行部11从数据储存部12的电话功能用的数据群取得构成电话画面P21的数据而生成画面，输出控制部13将该画面显示于触摸显示器。

接下来，进行用户的触摸动作，所以通过触摸输入检测部1对电话画面P21的“电话簿”按钮的按压进行检测，通过输入方法判定部2判定为触摸操作，从输入切换控制部4对状态转变控制部5通知是触摸操作输入的意思。另外，触摸-指令变换部3将表示“电话簿”按钮的按压的触摸信号变换为指令（电话簿、电话簿），状态转变控制部5将该指令根据图7C的状态转变表变换为应用程序执行命令“向电话簿列表画面P22转变画面”。然后，应用程序执行部11从数据储存部12的电话功能用的数据群取得构成电话簿列表画面P22的数据而生成画面，输出控制部13将该画面显示于触摸显示器。

接下来，进行用户的触摸动作，所以通过触摸输入检测部1对电话簿列表画面P22的“山田○○”按钮的按压进行检测，通过输入方法判定部2判定为触摸操作，从输入切换控制部4对状态转变控制部5通知是触摸操作输入的意思。另外，触摸-指令变换部3将表示“山田○○”按钮的按压的触摸信号变换为指令（山田○○、山田○○），状态转变控制部5将该指令根据图7C的状态转变表变换为应用程序执行命令“画面转变到电话簿画面P23，显示山田○○的电话簿”。然后，应用程序执行部11从数据储存部12的电话功能用的数据群取得构成电话簿画面P23的数据和山田○○的电话号码数据而生成画面，输出控制部13将该画面显示于触摸显示器。

接下来，进行用户的触摸动作，所以通过触摸输入检测部1对电话簿画面P23的“呼叫”按钮的按压进行检测，通过输入方法判定部2判定为触摸操作，从输入切换控制部4对状态转变控制部5通知是触摸操作输入的意思。另外，触摸-指令变换部3将表示“呼叫”按钮的按压的触摸信号变换为指令（呼叫、呼叫），状态转变控制部5将该指令根据图7C的状态转变表变换为应用程序执行命令“连接到通话线路”。然后，应用程序执行部11通过网络14与通话线路连接，输出控制部13输出声音。

另一方面，如果使用声音操作输入，则用户边对图8所示的应用程序一览画面P01的“电话”按钮触摸一定时间边发声为“山田○○”而使电话簿画面P23显示。之后，如果按压“呼叫”按钮就能够打电话。

此时，车载用信息装置依照图2所示的流程图，通过触摸输入检测部1检测对“电话”按钮的一定时间的接触，通过输入方法判定部2判定为声音操作，触摸-指令变换部3将表示“电话”按钮的接触的触摸信号变换为项目名（电话），输入切换控制部4将该项目名通知给状态转变控制部5和声音识别辞典切换部8。然后，声音识别部9切换为声音识别辞典切换部8指示的声音识别辞典而对发声“山田○○”进行声音识别，声音-指令变换部10将声音识别结果变换为项目值（山田○○）而通知给状态转变控制部5。状态转变控制部5将指令（电话、山田○○）根据图7A的状态转变表变换为应用程序执行命令“画面转变到电话簿画面P23，显示山田○○的电话簿”。然后，应用程序执行部11从数据储存部12的电话功能用的数据群取得构成电话簿画面P23的数据和山田○○的电话号码数据而生成画面，输出控制部13将该画面显示于触摸显示器。

这样，在触摸操作输入中能够通过3个步骤显示电话簿画面P23，但在声音操作输入中能够通过最短1个步骤执行。

另外例如，在用户希望输入电话号码03-3333-4444而打电话的情况下，如果使用触摸操作输入，则按压图8所示的应用程序一览画面P01的“电话”按钮而转变到电话画面P21。接下来，按压电话画面P21的“号码输入”按钮而转变到号码输入画面P24。接下来，在号码输入画面P24中按下数字按钮来输入10位的数字，并按下“确定”按钮而将画面转变到号码输入呼叫画面P25。由此，能够显示向03-3333-4444打电话的画面。

另一方面，如果使用声音操作输入，则用户边对图8所示的应用程序一览画面P01的“电话”按钮触摸一定时间边发声为“0333334444”而使号码输入呼叫画面P25显示。

这样，在触摸操作输入中能够通过13个步骤显示号码输入呼叫画面P25，但在声音操作输入中能够通过最短1个步骤执行。

此处，还说明导航功能。图11A是说明实施方式1的车载用信息装置的画面转变例子的图，是与导航功能有关的画面例子。另外，图7D以及图7E是与和导航功能有关的画面对应的状态转变表。

例如，在用户希望搜索当前位置周边的便利店的情况下，如果使用触摸操作输入，则按压图11A所示的应用程序一览画面P01的“导航”按钮而转变到导航画面（当前位置）P31。接下来，按压导航画面（当前位置）P31的“菜单”按钮而转变到导航菜单画面P32。接下来，按压导航菜单画面P32的“搜索周边设施”按钮而转变到周边设施类型选择画面1P34。接下来，使周边设施类型选择画面1P34的列表滚动按压“购物”按钮而转变到周边设施类型选择画面2P35。接下来，使周边设施类型选择画面2P35的列表滚动，按压“便利店”按钮而转变到便利店品牌选择画面P36。接下来，按压便利店品牌选择画面P36的“所有便利店”按钮而转变到周边设施检索结果画面P37。由此，能够显示周边的便利店的检索结果一览。

此时，车载用信息装置依照图2所示的流程图，通过触摸输入检测部1对应用程序一览画面P01的“导航”按钮的按压进行检测，通过输入方法判定部2判定为触摸操作，从输入切换控制部4对状态转变控制部5通知是触摸操作输入的意思。另外，触摸-指令变换部3将表示“导航”按钮的按压的触摸信号变换为指令（导航、导航），状态转变控制部5将该指令根据图7A的状态转变表变换为应用程序执行命令“画面转变到导航画面（当前位置）P31”。然后，应用程序执行部11从未图示的GPS接收机等取得当前位置，并且从数据储存部12的导航功能用数据群取得当前位置周边的地图数据等而生成画面，输出控制部13将该画面显示于触摸显示器。

接下来，进行用户的触摸动作，所以通过触摸输入检测部1对导航画面（当前位置）P31的“菜单”按钮的按压进行检测，通过输入方法判定部2判定为触摸操作，从输入切换控制部4对状态转变控制部5通知是触摸操作输入的意思。另外，触摸-指令变换部3将表示“菜单”按钮的按压的触摸信号变换为指令（菜单、菜单），状态转变控制部5将该指令根据图7D的状态转变表变换为应用程序执行命令“向导航菜单画面P32转变画面”。然后，应用程序执行部11从数据储存部12的导航功能用数据群取得构成导航菜单画面P32的数据而生成画面，输出控制部13将该画面显示于触摸显示器。

接下来，进行用户的触摸动作，所以通过触摸输入检测部1对导航菜单画面P32的“搜索周边设施”按钮的按压进行检测，通过输入方法判定部2判定为触摸操作，从输入切换控制部4对状态转变控制部5通知是触摸操作输入的意思。另外，触摸-指令变换部3将表示“搜索周边设施”按钮的按压的触摸信号变换为指令（搜索周边设施、搜索周边设施），状态转变控制部5将该指令根据图7D的状态转变表变换为应用程序执行命令“画面转变到周边设施类型选择画面1P34”。然后，应用程序执行部11从数据储存部12的导航功能用的数据群取得周边设施的列表项目，输出控制部13将排列了该列表项目的列表画面（P34）显示于触摸显示器。

另外，此处，设为在数据储存部12中，根据列表项目的内容，对用于构成列表画面的列表项目进行分组，进而在该组内进行分层。例如，周边设施类型选择画面1P34的列表项目“交通”、“就餐”、“购物”、“住宿”是各个组名，是被分类在各组的最上层的层次的项目。另外，在例如“购物”组中，在列表项目“购物”的下一层次中，储存了列表项目“百货商场”、“超市”、“便利店”、“家用电气”。进而，在“购物”组中，在“便利店”的下一层次中储存了列表项目“所有便利店”、“A便利店”、“B便利店”、“C便利店”。

接下来，进行用户的触摸动作，所以通过触摸输入检测部1对周边设施类型选择画面1P34的“购物”按钮的按压进行检测，通过输入方法判定部2判定为触摸操作，从输入切换控制部4对状态转变控制部5通知是触摸操作输入的意思。另外，触摸-指令变换部3将表示“购物”按钮的按压的触摸信号变换为指令（购物、购物），状态转变控制部5将该指令根据图7D的状态转变表变换为应用程序执行命令“画面转变到周边设施类型选择画面2P35”。然后，应用程序执行部11从数据储存部12的导航功能用的数据群取得周边设施中的与购物关联起来的周边设施的列表项目，输出控制部13将该列表画面（P35）显示于触摸显示器。

接下来，进行用户的触摸动作，所以通过触摸输入检测部1对周边设施类型选择画面2P35的“便利店”按钮的按压进行检测，通过输入方法判定部2判定为触摸操作，从输入切换控制部4对状态转变控制部5通知是触摸操作输入的意思。另外，触摸-指令变换部3将表示“便利店”按钮的按压的触摸信号变换为指令（便利店、便利店），状态转变控制部5将该指令根据图7E的状态转变表变换为应用程序执行命令“画面转变到便利店品牌选择画面P36”。然后，应用程序执行部11从数据储存部12的导航功能用的数据群取得周边设施中的便利店品牌种类的列表项目，输出控制部13将该列表画面（P36）显示于触摸显示器。

接下来，进行用户的触摸动作，所以通过触摸输入检测部1对便利店品牌选择画面P36的“所有便利店”按钮的按压进行检测，通过输入方法判定部2判定为触摸操作，从输入切换控制部4对状态转变控制部5通知是触摸操作输入的意思。另外，触摸-指令变换部3将表示“所有便利店”按钮的按压的触摸信号变换为指令（所有便利店、所有便利店），状态转变控制部5将该指令根据图7E的状态转变表变换为应用程序执行命令“画面转变到周边设施检索结果画面P37，在所有便利店中检索周边设施，显示检索结果”。然后，应用程序执行部11将刚才取得的当前位置作为中心而从数据储存部12的导航功能用的数据群的地图数据中检索便利店来制作列表项目，输出控制部13将该列表画面（P37）显示于触摸显示器。

接下来，进行用户的触摸动作，所以通过触摸输入检测部1对周边设施检索结果画面P37的“B便利店○○店”按钮的按压进行检测，通过输入方法判定部2判定为触摸操作，从输入切换控制部4对状态转变控制部5通知是触摸操作输入的意思。另外，触摸-指令变换部3将表示“B便利店○○店”按钮的按压的触摸信号变换为指令（B便利店○○店、B便利店○○店），状态转变控制部5将该指令根据图7E的状态转变表变换为应用程序执行命令“画面转变到目的地设施确认画面P38，对B便利店○○店进行地图显示”。然后，应用程序执行部11从数据储存部12的导航功能用的数据群中取得包括B便利店○○店的地图数据而生成目的地设施确认画面P38，输出控制部13将该画面显示于触摸显示器。

接下来，进行用户的触摸动作，所以通过触摸输入检测部1对目的地设施确认画面P38的“去这里”按钮的按压进行检测，通过输入方法判定部2判定为触摸操作，从输入切换控制部4对状态转变控制部5通知是触摸操作输入的意思。另外，触摸-指令变换部3将表示“去这里”按钮的按压的触摸信号变换为指令（去这里、B便利店○○店），状态转变控制部5将该指令根据未图示的状态转变表变换为应用程序执行命令。然后，应用程序执行部11使用数据储存部12的导航功能用的数据群的地图数据，从刚才取得的当前位置进行以B便利店○○店为目的地的路径探索来生成导航画面（有当前位置路线）P39，输出控制部13将该画面显示于触摸显示器。

另一方面，如果使用声音操作输入，则用户边对图11A所示的应用程序一览画面P01的“导航”按钮触摸一定时间边发声为“便利店”而使周边设施检索结果画面P37显示。

此时，车载用信息装置依照图2所示的流程图，通过触摸输入检测部1检测对“导航”按钮的一定时间的接触，通过输入方法判定部2判定为声音操作，触摸-指令变换部3将表示“导航”按钮的接触的触摸信号变换为项目名（导航），输入切换控制部4将该项目名通知给状态转变控制部5和声音识别辞典切换部8。然后，声音识别部9切换为声音识别辞典切换部8指示的声音识别辞典而对发声“便利店”进行声音识别，声音-指令变换部10将声音识别结果变换为项目值（便利店）而通知给状态转变控制部5。状态转变控制部5将指令（导航、便利店）根据图7A的状态转变表变换为应用程序执行命令“画面转变到周边设施检索结果画面P37，在所有便利店中检索周边设施，显示检索结果”。然后，应用程序执行部11从数据储存部12的导航功能用的数据群的地图数据中检索便利店而制作列表项目，输出控制部13将该列表画面（P37）显示于触摸显示器。

另外，从周边设施检索结果画面P37以特定的便利店为目的地而进行路径引导的动作（目的地设施确认画面P38以及导航画面（有当前位置路线）P39）与上述处理大致相同，所以说明省略。

这样，在触摸操作输入中能够通过6个步骤显示周边设施检索结果画面P37，但在声音操作输入中能够通过最短1个步骤执行。

另外例如，在用户希望从东京站等设施名称进行检索的情况下，如果使用触摸操作输入，则按压图11A所示的应用程序一览画面P01的“导航”按钮而转变到导航画面（当前位置）P31。接下来，按压导航画面（当前位置）P31的“菜单”按钮而转变到导航菜单画面P32。接下来，按压导航菜单画面P32的“搜索目的地”按钮而转变到图11B所示的目的地设定画面P33。接下来，按压图11B所示的目的地设定画面P33的“设施名称”按钮而转变到设施名称输入画面P43。接下来，在设施名称输入画面P43中按下字符按钮而输入“とうきょうえき（东京站）”这7个字符，然后按下“确定”按钮而使画面转变到检索结果画面P44。由此，能够使得显示东京站的检索结果一览。

另一方面，如果使用声音操作输入，则如果用户边对图11A所示的应用程序一览画面P01的“导航”按钮触摸一定时间边发声为“东京站”，则能够显示图11B所示的检索结果画面P44。

这样，在触摸操作输入中能够通过12个步骤显示检索结果画面P44，但在声音操作输入中能够通过最短1个步骤执行。

另外，用户还能够在触摸操作输入的途中，切换为声音操作输入。

例如，用户按压图11A所示的应用程序一览画面P01的“导航”按钮而转变到导航画面（当前位置）P31。接下来，按压导航画面（当前位置）P31的“菜单”按钮而转变到导航菜单画面P32。

此处，如果用户切换为声音操作输入，则如果边对导航菜单画面P32的“搜索周边设施”按钮触摸一定时间边发声为“便利店”，则能够使得显示周边设施检索结果画面P37。在该情况下，能够从应用程序一览画面P01通过3个步骤显示当前位置周边的便利店的检索结果一览。

或者，如果边对导航菜单画面P32的“搜索目的地”按钮触摸一定时间边发声为“东京站”，则能够显示图11B所示的检索结果画面P44。在该情况下，能够从应用程序一览画面P01通过3个步骤来显示东京站的检索结果一览。

或者，如果边对图11B所示的目的地设定画面P33的“设施名称”按钮触摸一定时间边发声为“东京站”，则能够使得显示检索结果画面P44。在该情况下，能够从应用程序一览画面P01通过4个步骤显示东京站的检索结果一览。这样，能够对不同的画面P32、P33进行相同的声音输入“东京站”，步骤数根据进行声音输入的画面而变化。

相反，还能够对相同的画面的相同的按钮进行不同的声音输入，使得显示用户希望的画面。

例如，在上述例子中，如果用户边对图11A所示的应用程序一览画面P01的“导航”按钮触摸一定时间边发声为“便利店”而使得显示了周边设施检索结果画面P37，但在边对相同的“导航”按钮触摸一定时间边发声为“A便利店”的情况下，能够使得显示周边设施检索结果画面P40（基于图7A的状态转变表）。在该例子的情况下，如果希望模糊地检索便利店的用户发声为“便利店”，则能够得到全部品牌的便利店的检索结果，另一方面，如果希望仅检索“A便利店”的用户发声为“A便利店”，则能够得到将品牌限定为A便利店的检索结果。

以上，根据实施方式1，车载用信息装置构成为具备：触摸输入检测部1，根据触摸显示器的输出信号对触摸动作进行检测；触摸-指令变换部3，根据触摸输入检测部1的检测结果，生成包括用于使得执行与进行了触摸动作的按钮对应的处理（转变目的地画面以及应用程序执行功能的一方或者两方）的项目名的指令（项目名、项目值）；声音识别部9，使用包含与处理对应起来的声音识别关键字的声音识别辞典，对与触摸动作大致同时或者接着该触摸动作的用户发声进行声音识别；声音-指令变换部10，变换为用于使得执行与声音识别结果对应的处理的指令（项目值）；输入方法判定部2，根据触摸输入检测部1的检测结果，判定触摸动作的状态表示触摸操作模式还是表示声音操作模式；输入切换控制部4，根据输入方法判定部2的判定结果，切换触摸操作模式或者声音操作模式；状态转变控制部5，在从输入切换控制部4接收到触摸操作模式的指示的情况下，从触摸-指令变换部3取得指令（项目名、项目值）并变换为应用程序执行命令，在从输入切换控制部4接收到声音操作模式的指示的情况下，从输入切换控制部4取得项目名并从声音-指令变换部10取得项目值而变换为应用程序执行命令；应用程序执行部11，依照应用程序执行命令执行处理；以及输出控制部13，对输出应用程序执行部11的执行结果的触摸显示器、扬声器等输出部进行控制。

因此，根据向按钮的触摸动作的状态来判定是触摸操作模式还是声音操作模式，所以能够通过一个按钮切换输入通常的触摸操作和与该按钮关联的声音操作，能够确保触摸操作的易懂性。

另外，对声音识别结果进行变换而得到的项目值是用于执行与作为按钮名称的项目名相同的处理组中的被分类为更下层的处理的信息，所以用户仅通过发声与带有目的而进行触摸的按钮关联的内容，就能够使得执行与该按钮关联的下层的处理。因此，无需如以往那样记住预先决定的独特的声音操作方法以及声音识别关键字。另外，相比于如以往那样仅仅按压“发声按钮”来发声的情况，在本实施方式1中按压显示了“导航”、“AV”等名称的按钮并发声与该按钮关联的声音识别关键字，所以能够实现直观且易于理解的声音操作，能够解决“不知要说什么好”这样的声音操作的问题。进而，能够缩短操作步骤数和操作时间。

另外，根据实施方式1，车载用信息装置构成为具备：声音识别辞典DB7，储存了包含与处理对应起来的声音识别关键字的声音识别辞典；以及声音识别辞典切换部8，切换为该声音识别辞典DB7中的、和与进行了触摸动作的按钮（即项目名）关联的处理对应起来的声音识别辞典，声音-指令变换部10使用声音识别辞典切换部8切换了的声音识别辞典，进行与触摸动作大致同时或者接着触摸动作的用户发声的声音识别。因此，能够缩减为与进行了触摸动作的按钮关联的声音识别关键字，能够提高声音识别率。

实施方式2.

在上述实施方式1中，不区分例如图8所示的电话簿列表画面P22那样的显示了列表项目的列表画面、和列表画面以外的画面来进行相同动作，但在本实施方式2中，构成为在显示列表画面的情况下，进行更适合于该画面的动作。具体而言，在列表画面中动态地制作与列表项目关联的声音识别辞典，并且，检测向滚动条的触摸动作来判定选择列表项目等的声音操作输入。

图12是示出本实施方式2的车载用信息装置的结构的框图。该车载用信息装置新具备声音识别对象词辞典制作部20。另外，在图12中对与图1相同或者相当的部分附加同一符号，省略详细的说明。

触摸输入检测部1a在显示了列表画面的情况下，根据来自触摸显示器的输入信号，检测用户是否触摸了滚动条（的显示区域）。

输入切换控制部4a根据输入方法判定部2的判定结果（触摸操作或者声音操作），将用户进行着哪个输入操作传送给状态转变控制部5，并且还传送给应用程序执行部11a。

应用程序执行部11a在从输入切换控制部4a被通知了触摸操作的情况下，针对列表画面进行列表的滚动。

另外，应用程序执行部11a在从输入切换控制部4a被通知了声音操作的情况下，与上述实施方式1同样地，利用在数据储存部12中储存的各种数据，进行与从状态转变控制部5通知的应用程序执行命令对应的画面转变或者应用程序功能的执行。

声音识别对象词辞典制作部20从应用程序执行部11a取得要进行画面显示的列表项目的一览数据，使用声音识别辞典DB7来制作与所取得的列表项目关联的声音识别对象词辞典。

声音识别部9a在显示了列表画面的情况下，参照由声音识别对象词辞典制作部20制作出的声音识别对象词辞典，对来自麦克风的声音信号进行声音识别处理而变换为字符串等，然后输出到声音-指令变换部10。

另外，车载用信息装置在列表画面以外的情况下，进行与上述实施方式1同样的处理即可，未图示的声音识别辞典切换部8对声音识别部9a指示向包含与项目名链接的声音识别关键字群的声音识别辞典切换。

接下来，说明车载用信息装置的动作。

图13是示出实施方式2的车载用信息装置的动作的流程图。图14示出由车载用信息装置实施的画面转变例子，此处，设为车载用信息装置将作为应用程序执行部11的功能之一的电话功能的电话簿列表画面P51显示于触摸显示器。

在步骤ST200中，触摸输入检测部1a检测用户是否触摸了在触摸显示器上显示的滚动条。另外，在检测到触摸的情况下（步骤ST200“是”），触摸输入检测部1a根据来自触摸显示器的输出信号，输出表示如何触摸了的触摸信号（想要滚动的操作还是触摸一定时间的操作等）。

在步骤ST210中，触摸-指令变换部3根据从触摸输入检测部1a输入的触摸信号变换为作为滚动条的指令（项目名、项目值）的（滚动条、滚动条）而输出。

在步骤ST220中，输入方法判定部2根据从触摸输入检测部1a输入的触摸信号，判定并输出用户想要进行触摸操作还是想要进行声音操作的输入方法。该输入方法的判定处理依照图4所示的流程图。另外，在上述实施方式1中，依照图5的判定条件，例如在是表示按压按钮的操作的触摸信号时判定为触摸操作模式，在是表示对按钮触摸一定时间的操作的触摸信号时判定为声音操作模式，在本实施方式2中，适宜地设定如下判定即可：在是表示想要边按滚动条边滚动的操作的触摸信号时判定为是触摸操作模式，在是表示仅对滚动条触摸一定时间的操作的触摸信号时判定为是声音操作模式等。

在步骤ST230中，在状态转变控制部5中，如果从输入切换控制部4a输入的判定结果是触摸操作模式（步骤ST230为“是”），则在接着的步骤ST240中，将从触摸-指令变换部3输入的指令根据状态转变表存储部6的状态转变表变换为应用程序执行命令。

此处，图15示出本实施方式2的状态转变表存储部6具有的状态转变表的一个例子。在该状态转变表中，设定了与在各画面（P51、P61、P71）中显示的滚动条对应的指令，项目名是“滚动条”。

关于指令的项目值，有附加为与项目名相同的“滚动条”的值、和附加了不同的名字的值。项目名和项目值相同的指令是在触摸操作输入的情况下使用的指令，项目名和项目值不同的指令是主要在声音操作输入的情况下使用的指令。

在与指令（滚动条、滚动条）对应的应用程序执行命令中，作为转变目的地画面设定了“不转变”，作为应用程序执行功能与触摸操作相配合地设定了“使列表滚动”。因此，在步骤ST240中，状态转变控制部5将从触摸-指令变换部3输入的指令（滚动、滚动）变换为“不进行画面转变，使列表滚动”这样的应用程序执行命令。

在接着的步骤ST260中，从状态转变控制部5接收到“不进行画面转变，使列表滚动”这样的应用程序执行命令的应用程序执行部11a使当前显示的列表画面的列表滚动。

另一方面，如果从输入切换控制部4a输入的判定结果是声音操作模式（步骤ST230“否”），则进入到步骤ST250，通过声音操作输入生成应用程序执行命令。

此处，使用图16所示的流程图，说明利用声音操作输入的应用程序执行命令的生成方法。

在步骤ST251中，声音识别对象词辞典制作部20如果从输入切换控制部4a接收到声音操作输入的判定结果的通知，则从应用程序执行部11a取得当前在触摸显示器中显示的列表画面的列表项目的一览数据。

接着在步骤ST252中，声音识别对象词辞典制作部20制作与所取得的列表项目关联的声音识别对象词辞典。

图17是说明声音识别对象词辞典的图。在该声音识别对象词辞典中，有（1）在列表中排列的项目的声音识别关键字、（2）对列表项目进行缩减检索的声音识别关键字、（3）处于在列表中排列的项目的下层画面中的所有声音识别关键字这三种。

（1）是在例如电话簿列表画面中排列的姓名（秋山○○、加藤○○、铃木○○、田中○○、山田○○等）。

（2）是例如表示检索到当前位置周边的设施中的“便利店”的结果的周边设施检索结果画面中排列的便利店品牌名（A便利店、B便利店、C便利店、D便利店、E便利店等）。

（3）包括例如周边设施类型选择画面1中排列的“购物”项目的下层画面中包含的类型名（便利店、百货商场等）、类型名的各下层画面中包含的便利店品牌名（○○便利店等）、百货商场品牌名（△△百货商场等）、“住宿”项目的下层画面中包含的类型名（宾馆等）、类型名的各下层画面中包含的宾馆品牌名（□□宾馆等）、和“交通”以及“就餐”的下层画面的声音识别关键字。由此，能够跳跃转变到比当前显示的画面下层的画面、或者直接执行处于下层的画面中的功能。

在接着的步骤ST253中，声音识别部9a针对从麦克风输入的声音信号，使用声音识别对象词辞典制作部20制作的声音识别对象词辞典进行声音识别处理，检测声音操作输入并输出。例如，在图14所示的电话簿列表画面P51中，在用户对滚动条触摸了一定时间的情况下（或者半按、双击敲击、长按等），制作包括秋山○○等姓名的项目作为声音识别关键字的辞典，作为声音识别对象词辞典。因此，被缩减到与列表关联的声音识别关键字，能够期待提高声音识别率。

在接着的步骤ST254中，声音-指令变换部10将从声音识别部9a输入的声音识别结果变换为指令（项目值）而输出。

在步骤ST255中，状态转变控制部5根据在状态转变表存储部6中储存的状态转变表，将包含从输入切换控制部4a输入的项目名和从声音-指令变换部10输入的项目值的指令（项目名、项目值）变换为应用程序执行命令。

此处，说明在声音操作输入的情况下，从指令变换为应用程序执行命令的例子。

当前的状态是图14所示的电话簿列表画面P51。然后，在用户边对滚动条触摸一定时间边发声为声音识别关键字“山田○○”的情况下，从输入切换控制部4a输入到状态转变控制部5的项目名是滚动。另外，从声音-指令变换部10输入到状态转变控制部5的项目值是山田○○。因此，成为指令（滚动条、山田○○）。

根据图15的状态转变表，指令（滚动条、山田○○）被变换为“画面转变到电话簿画面P52，显示山田○○的电话簿”这样的应用程序执行命令。由此，用户能够容易地选择以及决定在列表项目的下方排列而未在列表画面中显示的“山田○○”等的列表项目。

另外例如，设为当前的状态是图18所示的周边设施检索结果画面P61。然后，在用户边对滚动条触摸一定时间边发声为声音识别关键字“A便利店”的情况下，从声音-指令变换部10输入到状态转变控制部5的项目值成为A便利店，所以成为指令（滚动条、A便利店）。

根据图15的状态转变表，指令（滚动条、A便利店）被变换为“不进行画面转变，利用A便利店进行缩减检索，显示检索结果”这样的应用程序执行命令。由此，用户能够容易地对列表项目进行缩减检索。

另外例如，设为当前的状态是图19所示的周边设施类型选择画面1P71。然后，在用户边对滚动条触摸一定时间边发声为声音识别关键字“A便利店”的情况下，从声音-指令变换部10输入到状态转变控制部5的项目值为A便利店，所以该情况下也成为指令（滚动条、A便利店）。

根据图15的状态转变表，即使是相同的指令（滚动条、A便利店），根据当前的状态，应用程序执行命令也不同。因此，周边设施类型选择画面1P71的情况的指令（滚动条、A便利店）被变换为“画面转变到周边设施检索结果画面P74，检索A便利店周边设施，显示检索结果”这样的应用程序执行命令。由此，用户能够容易地转变到比显示中的列表画面下层的画面、或者执行下层的应用程序功能。

在接着的步骤ST256中，状态转变控制部5将从指令变换的应用程序执行命令输出到应用程序执行部11a。

使说明返回到图13的流程图。在步骤ST260中，应用程序执行部11a依照从状态转变控制部5输入的应用程序执行命令，从数据储存部12取得必要的数据，进行画面转变以及功能执行的一方或者两方。在接着的步骤ST270中，输出控制部13通过显示以及声音等输出应用程序执行部11a的画面转变以及功能执行的结果。应用程序执行部11a以及输出控制部13的动作与上述实施方式1相同，所以说明省略。

另外，在图13以及图16的流程图中，构成为在步骤ST200中检测到向列表画面的滚动条的触摸之后，在步骤ST252中声音识别对象词辞典制作部20制作声音识别对象词辞典，但辞典制作的时机不限于此。例如，也可以构成为在转变到列表画面时（应用程序执行部11a生成了列表画面的时机、或者输出控制部13显示了列表画面的时机）制作与该列表画面有关的声音识别对象词辞典。

另外，在如导航功能中的周边设施类型选择画面（图19的P71～P73）那样，预先决定了进行画面显示的列表项目那样的情况下，也可以准备该列表画面用的声音识别对象词辞典。而且，在检测到列表画面的滚动条的情况下或者转变到列表画面的情况下，切换为预先准备的声音识别对象词辞典即可。

以上，根据实施方式2，构成为车载用信息装置具备：数据储存部12，储存了被分组进而在该组内被分层了的列表项目的数据；声音识别辞典DB7，储存了与列表项目对应起来的声音识别关键字；以及声音识别对象词辞典制作部20，在数据储存部12中储存的数据中的各组的规定层次的项目排列的列表画面的滚动条被进行了触摸动作的情况下，抽出声音识别辞典DB7中的、与在该列表画面中排列的各列表项目和其下层的列表项目对应起来的声音识别关键字来制作声音识别对象词辞典，声音-指令变换部10使用声音识别对象词辞典制作部20制作的声音识别对象词辞典来进行与向滚动条区域进行的触摸动作大致同时或者接着触摸动作的用户发声的声音识别，取得与在列表画面中排列的各列表项目或者其下层的列表项目对应起来的声音识别关键字。因此，能够根据向列表画面的滚动条的触摸动作的状态，切换通常的触摸滚动操作、和与该列表关联的声音操作来输入。另外，用户仅通过边触摸滚动条边发声目标列表项目，就能够从该列表画面中选择、决定目标项目、或者从当前的列表画面进一步缩减下层的列表项目、或者向处于当前的列表画面的下层中的画面跳跃转变或执行应用程序功能。因此，能够缩短操作步骤数以及操作时间。另外，无需如以往那样记住预先决定的声音识别关键字，能够直观地对列表画面进行声音操作。进而，能够缩减为与画面显示的列表项目关联的声音识别关键字，能够提高声音识别率。

另外，如上所述，关于声音识别对象词辞典制作部20制作声音识别对象词辞典的时机，也可以不是在滚动条被进行了触摸动作之后，而是在显示列表画面时。另外，关于所抽出的声音识别关键字，也可以不是与在列表画面中排列的各列表项目和其下层的列表项目对应起来的关键字，也可以仅是例如在列表画面中排列的各列表项目，或者也可以是在列表画面中排列的各列表项目和其下一层的列表项目，或者也可以是在列表画面中排列的各列表项目和其所有下层的列表项目。

实施方式3.

图20是示出本实施方式3的车载用信息装置的结构的框图。该车载用信息装置新具备输出方法决定部30和输出数据存储部31，对用户报告是触摸操作模式还是声音操作模式。另外，在图20中，对与图1相同或者相当的部分附加同一符号，省略详细的说明。

输入切换控制部4b根据输入方法判定部2的判定结果（触摸操作模式或者声音操作模式），将用户希望哪一个输入操作传送到状态转变控制部5，并且还传送到输出方法决定部30。另外，输入切换控制部4b将在声音操作输入判定时从触摸-指令变换部3输入的指令中的项目名输出到输出方法决定部30。

输出方法决定部30在从输入切换控制部4b通知了触摸操作模式的情况下，决定对用户通知是触摸操作输入的输出方法（表示触摸操作模式的按钮颜色、音效、触摸显示器的点击感以及振动方法等），根据需要从输出数据存储部31取得输出数据并输出到输出控制部13b。

另外，输出方法决定部30在从输入切换控制部4b被通知了声音操作模式的情况下，决定对用户通知是声音操作输入的输出方法（表示声音操作模式的按钮颜色、音效、触摸显示器的点击感以及振动方法、声音识别标志、声音向导等），从输出数据存储部31取得与该声音操作的项目名对应的输出数据并输出到输出控制部13b。

输出数据存储部31储存了为了对用户通知输入方法是触摸操作输入还是声音操作输入而使用的数据。作为数据，有例如用户能够识别是触摸操作模式还是声音操作模式的音效数据、报告声音操作模式的声音识别标志的图像数据、催促与用户触摸了的按钮（项目名）对应的声音识别关键字的发声的声音向导数据等。

另外，在图示例中，独立地设置了输出数据存储部31，但也可以用其他存储装置兼用，也可以在例如状态转变表存储部6或者数据储存部12中储存输出数据。

输出控制部13b在将应用程序执行部11的执行结果在触摸显示器中进行画面显示、或者从扬声器进行声音输出时，依照从输入切换控制部4b输入的输出方法通过触摸操作模式和声音操作模式变更按钮颜色、或者变更触摸显示器的点击感、或者变更振动方法、或者输出声音向导。输出方法既可以是它们中的一种，也可以任意地组合多个种类。

接下来，说明车载用信息装置的动作。

图21是示出实施方式3的车载用信息装置的输出方法控制动作的流程图。图21的步骤ST100～ST130是与图2的步骤ST100～ST130相同的处理，所以省略说明。

如果输入方法的判定结果是触摸操作（步骤ST130为“是”），则输入切换控制部4b向输出方法决定部30通知该意思。在接着的步骤ST300中，输出方法决定部30从输入切换控制部4b接受是触摸操作输入的意思的通知，决定应用程序执行结果的输出方法。例如，将画面的按钮变更为触摸操作用的按钮颜色、或者将用户在触摸显示器上触摸了时的音效、点击感以及振动变更为触摸操作用。

另一方面，如果输入方法的判定结果是声音操作（步骤ST130为“否”），则输入切换控制部4b向输出方法决定部30通知是声音操作输入的意思和其指令（项目名）。在接着的步骤ST310中，输出方法决定部30从输入切换控制部4b接受是声音操作输入的意思的通知，决定应用程序执行结果的输出方法。例如，将画面的按钮变更为声音操作用的按钮颜色、或者将用户在触摸显示器上触摸了时的音效、点击感以及振动变更为声音操作用。另外，输出方法决定部30从输出数据存储部31取得声音向导数据，该声音向导数据是基于在输入方法判定时触摸了的按钮的项目名的声音向导数据。

在接着的步骤ST320中，输出控制部13b依照来自输出方法决定部30的指示，进行显示、声音、点击、振动等输出。

此处，说明输出的具体例子。图22是判定为声音操作输入的情况的电话画面。在显示了该电话画面的情况下，设为用户对“电话簿”按钮触摸了一定时间。在该情况下，输出方法决定部30从输入切换控制部4b接受是声音操作输入的意思的通知，并且接受项目名（电话簿）。接下来，输出方法决定部30从输出数据存储部31取得声音识别标志的数据，将在“电话簿”按钮附近显示声音识别标志的指示输出到输出控制部13b。然后，输出控制部13b以使声音识别标志从用户触摸了的“电话簿”按钮冒出的方式，在电话画面上的电话簿按钮附近重叠配置声音识别标志而输出到触摸显示器。

由此，能够向用户易于理解地示出是转换为声音操作输入的状态、以及是进行与哪个按钮关联的声音操作的状态。如果在该状态下用户发声为“山田○○”，则能够显示有呼叫功能的下层的电话簿画面。

另外例如，在图22中，接受了是声音操作输入的意思的通知的输出方法决定部30从输出数据存储部31取得与项目名（电话簿）链接储存的声音向导“向哪位打电话”的数据，并输出到输出控制部13b。然后，输出控制部13b将该声音向导数据输出到扬声器。

另外例如，设为在图11A的导航菜单画面P32中，用户对“搜索周边设施”按钮触摸一定时间。在该情况下，输出方法决定部30从输入切换控制部4b接受是声音操作输入的意思的通知，并且接受项目名（搜索周边设施）。然后，输出方法决定部30从输出数据存储部31取得与该项目名链接的“去哪个设施”、“请讲设施名称”这样的声音向导数据，并输出到输出控制部13b。

由此，能够边通过声音向导向用户询问与所触摸的按钮对应的应发声的内容，边更自然地引导到声音操作输入。

这可以说，相比于如在一般的声音操作输入中使用那样的在按下发声按钮时输出的“请在哔声之后讲话”这样的声音向导而言，是更易于理解的向导内容。

另外，在上述说明中，说明了将输出方法决定部30以及输出数据存储部31应用于实施方式1的车载用信息装置的情况的例子，但当然也可以应用于实施方式2的车载用信息装置。

图23是声音操作输入时的列表画面的一个例子。在实施方式2中，在用户对滚动条触摸了一定时间的情况下，切换为声音操作输入。在该情况下，输出方法决定部30以在该列表画面上的滚动条附近重叠配置声音识别标志的方式进行控制，对用户报告是声音操作输入的状态的意思。

以上，根据实施方式3，车载用信息装置构成为具备输出方法决定部30，该输出方法决定部30从输入切换控制部4b接受触摸操作模式或者声音操作模式的指示，根据该指示的模式决定利用输出部输出的执行结果的输出方法，输出控制部13b依照输出方法决定部30决定的输出方法控制输出部。因此，通过在触摸操作模式和声音操作模式中返回不同的反馈，能够对用户直观地传达是哪个操作模式状态。

另外，根据实施方式3，车载用信息装置构成为具备输出数据存储部31，该输出数据存储部31针对每个指令（项目名）储存了对用户催促与指令（项目值）对应起来的声音识别关键字的发声的声音向导数据，输出方法决定部30在从输入切换控制部4b接受到声音操作模式的指示的情况下，从输出数据存储部31取得与触摸-指令变换部3生成的指令（项目名）对应的声音向导数据并输出到输出控制部13b，输出控制部13b使输出方法决定部30输出的声音向导数据从扬声器输出。因此，在成为声音操作模式时，能够输出与进行了触摸动作的按钮相配的声音向导，能够引导用户能够自然地发声声音识别关键字。

另外，在上述实施方式1～3中，以AV功能、电话功能、导航功能为例子说明了应用程序，但当然也可以是这以外的应用程序。例如，在图1的情况下，也可以是车载用信息装置接受使车载的空调运转、停止的指令、使设定温度上下的指令等的输入，使用在数据储存部12中储存的空调功能的数据来控制空调。另外，也可以在数据储存部12中存储用户爱好的URL，接受经由网络14取得并显示该URL的数据的指令等的输入，并进行画面显示。进而，也可以是执行这以外的功能的应用程序。

另外，以车载用的信息装置为例子进行了说明，但不限于车载用，也可以应用于能够带入到车辆的PND（Portable/Personal NavigationDevice，便携式/个人导航设备）以及智能手机等便携终端的用户接口装置。进而，不限于面向车辆，也可以应用于家用电气产品等的用户接口装置。

另外，在用计算机构成该用户接口装置的情况下，也可以将记述了触摸输入检测部1、输入方法判定部2、触摸-指令变换部3、输入切换控制部4、状态转变控制部5、状态转变表存储部6、声音识别辞典DB7、声音识别辞典切换部8、声音识别部9、声音-指令变换部10、应用程序执行部11、数据储存部12、输出控制部13、声音识别对象词辞典制作部20、输出方法决定部30、输出数据存储部31的处理内容的信息处理程序储存到计算机的存储器中，计算机的CPU执行在存储器中储存的信息处理程序。

实施方式4.

在上述实施方式1～3中，构成为通过向在触摸显示器中显示的按钮（以及列表、滚动条等）的触摸动作的状态（是短按还是长按等），切换触摸操作模式（按钮功能的执行）和声音操作模式（与按钮关联的声音识别的起动），但不仅通过触摸显示器的按钮切换触摸操作模式和声音操作模式，而且还能够通过向机械性的硬件按钮等输入设备的触摸动作的状态切换触摸操作模式和声音操作模式。因此，在本实施方式4以及后述实施方式5～10中，说明通过向硬件按钮等输入设备的触摸动作的状态切换操作模式的信息装置。

本实施方式4的车载用信息装置在附图上是与图1、图12或者图20所示的车载用信息装置同样的结构，所以以下引用图1、图12以及图20来进行说明。

在上述实施方式1～3的车载用信息装置中，将触摸显示器用作输入设备，但此处作为输入设备的例子使用下述（1）～（6）。

（1）组合了硬件按钮和触摸显示器的例子

（2）组合了硬件按钮和显示器的例子

（3）仅是与显示器的显示项目对应的硬件按钮的例子

（4）组合了显示器和操纵杆等光标操作用硬件设备的例子

（5）组合了显示器和触摸板的例子

（6）仅硬件按钮的例子

硬件按钮是指机械性的物理按钮，包括远程控制器（以下遥控器）的橡胶按钮、薄型的便携电话中使用那样的板键。在后面详细叙述光标操作用硬件设备。

在硬件按钮的情况下，车载用信息装置的触摸输入检测部1检测由用户实施的硬件按钮的按压方法，在输入方法判定部2中判定输入方法是两个操作模式中的哪一个。

例如，在是无触感传感器的硬件按钮的情况下，既可以通过是短按还是长按来判定输入方法，也可以通过是按一次还是按两次来判定输入方法。在是有触感传感器的硬件按钮的情况下，用户也可以通过是触摸了硬件按钮还是按了硬件按钮来判定输入方法。在是能够检测半按的硬件按钮（例如，照相机的快门按钮）的情况下，也可以通过是半按还是全按来判定输入方法。

这样，通过针对一个硬件按钮分开使用2种触摸动作，能够判定针对一个硬件按钮想要通过触摸操作和声音操作中的哪一个操作进行输入。

以下，说明具体例。

（1）组合了硬件按钮和触摸显示器的例子

图24是示出车载用信息装置具备的（或者与车载用信息装置连接的）硬件按钮100～105和触摸显示器106的结构例子的图。此处，在触摸显示器106的周边设置了硬件按钮100～105，对各硬件按钮100～105，关联起来了可由应用程序执行部11执行的上位层次的功能的项目名。在该例子中，在硬件按钮100～105被短按了的情况下，判定为触摸操作模式，在被长按了的情况下，判定为声音操作模式。

如图25所示，在“PHONE（电话）”硬件按钮103被短按了的情况下，触摸输入检测部1检测该短按并输出触摸信号。触摸-指令变换部3将触摸信号变换为指令（PHONE、PHONE）。另外，输入方法判定部2根据触摸信号判定输入方法是触摸操作模式，接收到该判定的状态转变控制部5将指令（PHONE、PHONE）变换为应用程序执行命令而输出到应用程序执行部11。应用程序执行部11根据应用程序执行命令使触摸显示器106显示PHONE菜单。在PHONE菜单画面中显示“电话簿”按钮、“号码输入”按钮等，对各按钮关联起来了比PHONE菜单下一层的电话簿、号码输入等功能。用户使用触摸显示器106来进行这些按钮操作。

另一方面，如图26所示，在“PHONE”硬件按钮103被长按了的情况下，输入方法判定部2根据触摸信号判定输入方法是声音操作模式，从输入切换控制部4向声音识别辞典切换部8输出指令的项目名（PHONE）并切换为与PHONE关联的声音识别辞典。然后，声音识别部9使用与PHONE关联的声音识别辞典来进行声音识别处理，检测用户接着向硬件按钮103的触摸动作而发声的声音操作输入。声音-指令变换部10将声音识别部9的声音识别结果变换为指令（项目值）而输出到状态转变控制部5，应用程序执行部11执行与项目值相应的电话号码的检索。

另外，也可以如图20那样构成车载用信息装置，输出表示转换为声音操作模式的音效或者显示（例如，图26所示那样的声音识别标志的显示）等。另外，也可以输出对用户催促发声的声音向导（例如，“向谁打电话?”这样的声音），也可以显示为文章。

以上，根据实施方式4，车载用信息装置构成为具备：触摸输入检测部1，根据硬件按钮100～105的输出信号检测触摸动作；触摸-指令变换部3，根据触摸输入检测部1的检测结果，生成包括用于使得执行与进行了触摸动作的硬件按钮100～105对应的处理的项目名的指令（项目名、项目值）；声音识别部9，使用包含与处理对应起来的声音识别关键字的声音识别辞典，对与触摸动作大致同时或者接着触摸动作的用户发声进行声音识别；声音-指令变换部10，变换为用于使得执行与声音识别结果对应的处理的指令（项目值）；输入方法判定部2，根据触摸输入检测部1的检测结果，判定触摸动作的状态是表示触摸操作模式还是表示声音操作模式；输入切换控制部4，根据输入方法判定部2的判定结果，切换触摸操作模式或者声音操作模式；状态转变控制部5，在从输入切换控制部4接收到触摸操作模式的指示的情况下，从触摸-指令变换部3取得指令（项目名、项目值）并变换为应用程序执行命令，在从输入切换控制部4接收到声音操作模式的指示的情况下，从输入切换控制部4取得项目名并从声音-指令变换部10取得项目值而变换为应用程序执行命令；应用程序执行部11，依照应用程序执行命令执行处理；以及输出控制部13，控制输出应用程序执行部11的执行结果的触摸显示器106等输出部。因此，根据向硬件按钮的触摸动作的状态来判定是触摸操作模式还是声音操作模式，所以能够通过一个硬件按钮切换通常的触摸操作和与该硬件按钮关联的声音操作而输入。另外，还具有与上述实施方式1～3同样的效果。

实施方式5.

本实施方式5的车载用信息装置在附图上是与图1、图12或者图20所示的车载用信息装置同样的结构，以下引用图1、图12以及图20而进行说明。

（2）组合了硬件按钮和显示器的例子

图27示出车载用信息装置具备的（或者与车载用信息装置连接的）硬件按钮103～105和显示器108的结构例子，设为这些显示器108和硬件按钮103～105设置于车辆的方向盘107周边。另外，在显示器108中显示了硬件按钮103～105的项目名。另外，显示器108和硬件按钮103～105可以配置于任意部位。

在该例子中，在硬件按钮103～105被短按了的情况下，判定为触摸操作模式，在被长按了的情况下，判定为声音操作模式。

在“PHONE”硬件按钮103被短按了的情况下，触摸输入检测部1检测该短按而输出触摸信号。触摸-指令变换部3将触摸信号变换为指令（PHONE、PHONE）。另外，输入方法判定部2根据触摸信号判定输入方法是触摸操作模式，接收到该判定的状态转变控制部5将指令（PHONE、PHONE）变换为应用程序执行命令而输出到应用程序执行部11。应用程序执行部11根据应用程序执行命令使显示器108中显示PHONE菜单（例如，图25所示的PHONE菜单画面）。另外，针对PHONE菜单画面的操作方法可以是任意。例如，用户操作未图示的操纵杆或者旋转拨号盘等输入设备即可。

另一方面，在“PHONE”硬件按钮103被长按了的情况下，输入方法判定部2根据触摸信号判定出输入方法是声音操作模式，从输入切换控制部4向声音识别辞典切换部8输出指令的项目名（PHONE）而使得切换为与PHONE关联的声音识别辞典。然后，声音识别部9使用与PHONE关联的声音识别辞典来进行声音识别处理，用户检测接着向硬件按钮103的触摸动作而发声的声音操作输入。声音-指令变换部10将声音识别部9的声音识别结果变换为指令（项目值）而输出到状态转变控制部5，应用程序执行部11执行与项目值相应的电话号码的检索。

另外，也可以如图20那样构成车载用信息装置，输出表示转换到声音操作模式的音效或者显示（例如，图27所示那样的声音识别标志的显示）等，也可以输出对用户催促发声的声音向导（例如，“向谁打电话?”这样的声音）。进而，也可以将图28所示那样的、对用户催促发声的文章显示于显示器108。

以上，根据实施方式5，车载用信息装置构成为具备：触摸输入检测部1，根据硬件按钮103～105的输出信号检测触摸动作；触摸-指令变换部3，根据触摸输入检测部1的检测结果，生成包括用于使得执行与进行了触摸动作的硬件按钮103～105对应的处理的项目名的指令（项目名、项目值）；声音识别部9，使用包含与处理对应起来的声音识别关键字的声音识别辞典，对与触摸动作大致同时或者接着触摸动作的用户发声进行声音识别；声音-指令变换部10，变换为用于使得执行与声音识别结果对应的处理的指令（项目值）；输入方法判定部2，根据触摸输入检测部1的检测结果，判定触摸动作的状态是表示触摸操作模式还是表示声音操作模式；输入切换控制部4，根据输入方法判定部2的判定结果，切换触摸操作模式或者声音操作模式；状态转变控制部5，在从输入切换控制部4接收到触摸操作模式的指示的情况下，从触摸-指令变换部3取得指令（项目名、项目值）并变换为应用程序执行命令，在从输入切换控制部4接收到声音操作模式的指示的情况下，从输入切换控制部4取得项目名并从声音-指令变换部10取得项目值而变换为应用程序执行命令；应用程序执行部11，依照应用程序执行命令执行处理；以及输出控制部13，控制输出应用程序执行部11的执行结果的显示器108等输出部。因此，根据向硬件按钮的触摸动作的状态来判定是触摸操作模式还是声音操作模式，所以能够通过一个硬件按钮切换通常的触摸操作和与该硬件按钮关联的声音操作而输入。另外，还有与上述实施方式1～3同样的效果。

实施方式6.

本实施方式6的车载用信息装置在附图上是与图1、图12或者图20所示的车载用信息装置同样的结构，所以以下引用图1、图12以及图20而进行说明。

（3）仅是与显示器的显示项目对应的硬件按钮的例子

图29示出车载用信息装置具备的（或者与车载用信息装置连接的）硬件按钮100～102和显示器108的结构例子，设为这些显示器108和硬件按钮100～102设置于车辆的方向盘107周边。

在该例子中，在硬件按钮100～102被短按了的情况下，判定为触摸操作模式，在被长按了的情况下，判定为声音操作模式。

在上述实施方式4、5中，对硬件按钮100～105关联起来了特定的功能，但在本实施方式6中，如上述实施方式1～3的触摸显示器上的按钮那样，使硬件按钮100～102的功能可变。在图29中，对与“1”硬件按钮100的按下连动地执行的“搜索目的地”功能、与“2”硬件按钮101的按下连动地执行的“打电话”功能、以及与“3”硬件按钮102的按下连动地执行的“收听音乐”功能进行画面显示。

在图29中，在“搜索目的地”硬件按钮100被短按了的情况下，触摸输入检测部1检测该短按，输出包括被短按的硬件按钮的位置信息的触摸信号。触摸-指令变换部3根据硬件按钮的位置信息制作指令（搜索目的地、搜索目的地）。另外，输入方法判定部2根据触摸信号判定出输入方法是触摸操作模式，接收到该判定的状态转变控制部5将指令（搜索目的地、搜索目的地）变换为应用程序执行命令而输出到应用程序执行部11。应用程序执行部11根据应用程序执行命令使显示器108显示图30所示那样的目的地设定画面。在目的地设定画面中，包括：与“1”硬件按钮100的按下连动地执行的检索“设施名称”的功能、与“2”硬件按钮101的按下连动地执行的检索“住址”的功能、以及与“3”硬件按钮102的按下连动地执行的检索“注册地”的功能。

另一方面，在图29中，在“搜索目的地”硬件按钮100被长按了的情况下，输入方法判定部2根据触摸信号判定出输入方法是声音操作模式，从输入切换控制部4向声音识别辞典切换部8输出指令的项目名（搜索目的地）而使得切换为与目的地检索关联的声音识别辞典。然后，声音识别部9使用与目的地检索关联的声音识别辞典来进行声音识别处理，检测用户接着向硬件按钮100的触摸动作而发声的声音操作输入。声音-指令变换部10将声音识别部9的声音识别结果变换为指令（项目值）而输出到状态转变控制部5，应用程序执行部11执行以项目值为目的地的检索。

另外，也可以如图20那样构成车载用信息装置，输出表示转换到声音操作模式的音效或者显示（例如，图31所示那样的声音识别标志的显示）等。另外，也可以输出对用户催促发声的声音向导（例如，“去哪里?”这样的声音），也可以显示为文章。

以上，根据实施方式6，车载用信息装置构成为具备：触摸输入检测部1，根据硬件按钮100～102的输出信号检测触摸动作；触摸-指令变换部3，根据触摸输入检测部1的检测结果，生成包括用于使得执行与进行了触摸动作的硬件按钮100～102对应的处理（转变目的地画面以及应用程序执行功能的一方或者两方）的项目名的指令（项目名、项目值）；声音识别部9，使用包含与处理对应起来的声音识别关键字的声音识别辞典，对与触摸动作大致同时或者接着触摸动作的用户发声进行声音识别；声音-指令变换部10，变换为用于使得执行与声音识别结果对应的处理的指令（项目值）；输入方法判定部2，根据触摸输入检测部1的检测结果，判定触摸动作的状态是表示触摸操作模式还是表示声音操作模式；输入切换控制部4，根据输入方法判定部2的判定结果，切换触摸操作模式或者声音操作模式；状态转变控制部5，在从输入切换控制部4接收到触摸操作模式的指示的情况下，从触摸-指令变换部3取得指令（项目名、项目值）并变换为应用程序执行命令，在从输入切换控制部4接收到声音操作模式的指示的情况下，从输入切换控制部4取得项目名并从声音-指令变换部10取得项目值而变换为应用程序执行命令；应用程序执行部11，依照应用程序执行命令执行处理；以及输出控制部13，对输出应用程序执行部11的执行结果的显示器108等输出部进行控制。因此，根据向与在显示器中显示的项目对应的硬件按钮的触摸动作的状态来判定是触摸操作模式还是声音操作模式，所以能够通过一个硬件按钮切换通常的触摸操作和与该硬件按钮关联的声音操作而输入。另外，在上述实施方式4、5中固定了硬件按钮和功能，但在本实施方式6中使硬件按钮和功能的对应为可变，所以能够在各种画面中切换触摸操作模式和声音操作模式来进行输入。进而，不论在降低层次的过程中的哪个阶段中，都能够通过声音操作模式进行声音输入。

实施方式7.

本实施方式7的车载用信息装置在附图上是与图1、图12或者图20所示的车载用信息装置同样的结构，所以以下引用图1、图12以及图20而进行说明。

（4）组合了显示器和操纵杆等光标操作用硬件设备的例子

图32示出车载用信息装置具备的（或者与车载用信息装置连接的）显示器108和操纵杆109的结构例子，设为这些显示器108和操纵杆109设置于车辆的方向盘107周边。另外，显示器108和操纵杆109可以配置于任意部位。另外，作为光标操作用硬件设备的一个例子，图示了操纵杆109，但也可以使用旋转拨号盘、上下选择器等其他输入设备。

在该例子中，在操纵杆109被短按了的情况下，判定为触摸操作模式，在被长按了的情况下，判定为声音操作模式。

在用户操作操纵杆109，使光标对准到“1.搜索目的地”而选择了的状态下短按。触摸输入检测部1检测操纵杆109的短按，输出包括被短按了的光标的位置信息的触摸信号。触摸-指令变换部3根据光标的位置信息制作指令（搜索目的地、搜索目的地）。另外，输入方法判定部2根据触摸信号判定输入方法是触摸操作模式，接收到该判定的状态转变控制部5将指令（搜索目的地、搜索目的地）输出到应用程序执行部11。应用程序执行部11根据应用程序执行命令使显示器108显示目的地设定画面（例如，图30所示的目的地设定画面）。

另一方面，在使光标对准到“1.搜索目的地”而选择了的状态下操纵杆109被长按了的情况下，输入方法判定部2根据触摸信号判定输入方法是声音操作模式，从输入切换控制部4向声音识别辞典切换部8输出指令的项目名（搜索目的地）而使得切换为与目的地检索关联的声音识别辞典。然后，声音识别部9使用与目的地检索关联的声音识别辞典来进行声音识别处理，检测用户接着向操纵杆109的触摸动作而发声的声音操作输入。声音-指令变换部10将声音识别部9的声音识别结果变换为指令（项目值）而输出到状态转变控制部5，应用程序执行部11执行以项目值为目的地的检索。

另外，也可以如图20那样构成车载用信息装置，输出表示转换到声音操作模式的音效以及显示（例如，图32所示那样的声音识别标志的显示）等，也可以输出对用户催促发声的声音向导（例如，“去哪里?”这样的声音）。

以上，根据实施方式7，车载用信息装置构成为具备：触摸输入检测部1，根据操纵杆109的输出信号检测触摸动作；触摸-指令变换部3，根据触摸输入检测部1的检测结果，生成包括用于使得执行操纵杆109选择中的处理（转变目的地画面以及应用程序执行功能的一方或者两方）的项目名的指令（项目名、项目值）；声音识别部9，使用包含与处理对应起来的声音识别关键字的声音识别辞典，对与触摸动作大致同时或者接着触摸动作的用户发声进行声音识别；声音-指令变换部10，变换为用于使得执行与声音识别结果对应的处理的指令（项目值）；输入方法判定部2，根据触摸输入检测部1的检测结果，判定触摸动作的状态是表示触摸操作模式还是表示声音操作模式；输入切换控制部4，根据输入方法判定部2的判定结果，切换触摸操作模式或者声音操作模式；状态转变控制部5，在从输入切换控制部4接收到触摸操作模式的指示的情况下，从触摸-指令变换部3取得指令（项目名、项目值）并变换为应用程序执行命令，在从输入切换控制部4接收到声音操作模式的指示的情况下，从输入切换控制部4取得项目名并从声音-指令变换部10取得项目值而变换为应用程序执行命令；应用程序执行部11，依照应用程序执行命令执行处理；以及输出控制部13，对输出应用程序执行部11的执行结果的显示器108等输出部进行控制。因此，根据向选择在显示器中显示的项目的旋转拨号盘等输入设备的触摸动作的状态来判定是触摸操作模式还是声音操作模式，所以能够通过一个硬件按钮切换通常的触摸操作和与该硬件按钮关联的声音操作而输入。另外，在上述实施方式4、5中固定了硬件按钮和功能，但在本实施方式7中使硬件按钮和功能的对应为可变，所以能够在各种画面中切换输入触摸操作模式和声音操作模式。进而，不论在降低层次的过程中的哪个阶段中，都能够通过声音操作模式进行声音输入。

实施方式8.

本实施方式8的车载用信息装置在附图上是与图1、图12或者图20所示的车载用信息装置同样的结构，所以以下引用图1、图12以及图20而进行说明。

（5）组合了显示器和触摸板的例子

图33示出车载用信息装置具备的（或者与车载用信息装置连接的）显示器108和触摸板110的结构例子，设为这些显示器108和触摸板110设置于车辆的方向盘107周边。另外，显示器108和触摸板110可以配置于任意部位。

在触摸板110能够探测按下的压力的情况下，通过是触摸还是按压来判定输入方法、或者通过是半按还是全按来判定输入方法。即使在无法探测压力的情况下，也能够通过拖拽、敲击、长按等触摸动作的差异来判定输入方法。在该例子中，在被强按了的情况下，判定为触摸操作模式，在被长按了的情况下，判定为声音操作模式。

用户对触摸板110进行拖拽使光标对准到“设施名称”然后强按。触摸输入检测部1检测触摸板110的强按，输出包括被强按了的光标的位置信息的触摸信号。触摸-指令变换部3根据光标的位置信息制作指令（设施名称、设施名称）。另外，输入方法判定部2根据触摸信号判定输入方法是触摸操作模式，接收到该判定的状态转变控制部5将指令（设施名称、设施名称）变换为应用程序执行命令而输出到应用程序执行部11。应用程序执行部11根据应用程序执行命令使显示器108显示设施名称输入画面。

另一方面，在使光标对准到了“设施名称”的状态下长按了触摸板110的情况下，输入方法判定部2根据触摸信号判定输入方法是声音操作模式，从输入切换控制部4向声音识别辞典切换部8输出指令的项目名（设施名称）而使得切换为与设施名称检索关联的声音识别辞典。然后，声音识别部9使用与设施名称检索关联的声音识别辞典来进行声音识别处理，检测用户接着向触摸板110的触摸动作而发声的声音操作输入。声音-指令变换部10将声音识别部9的声音识别结果变换为指令（项目值）而输出到状态转变控制部5，应用程序执行部11检索与项目值相应的设施名称。

另外，也可以如图20那样构成车载用信息装置，输出表示转换到声音操作模式的音效或者显示（例如，图33所示那样的声音识别标志的显示）等。另外，也可以输出对用户催促发声的声音向导（例如，“请讲设施名称”这样的声音），也可以显示为文章。

以上，根据实施方式8，车载用信息装置构成为具备：触摸输入检测部1，根据触摸板110的输出信号，检测触摸动作；触摸-指令变换部3，根据触摸输入检测部1的检测结果，生成包括用于使得执行触摸板110选择中的处理（转变目的地画面以及应用程序执行功能的一方或者两方）的项目名的指令（项目名、项目值）；声音识别部9，使用包含与处理对应起来的声音识别关键字的声音识别辞典，对与触摸动作大致同时或者接着触摸动作的用户发声进行声音识别；声音-指令变换部10，变换为用于使得执行与声音识别结果对应的处理的指令（项目值）；输入方法判定部2，根据触摸输入检测部1的检测结果，判定触摸动作的状态是表示触摸操作模式还是表示声音操作模式；输入切换控制部4，根据输入方法判定部2的判定结果，切换触摸操作模式或者声音操作模式；状态转变控制部5，在从输入切换控制部4接收到触摸操作模式的指示的情况下，从触摸-指令变换部3取得指令（项目名、项目值）并变换为应用程序执行命令，在从输入切换控制部4接收到声音操作模式的指示的情况下，从输入切换控制部4取得项目名并从声音-指令变换部10取得项目值而变换为应用程序执行命令；应用程序执行部11，依照应用程序执行命令执行处理；以及输出控制部13，对输出应用程序执行部11的执行结果的显示器108等输出部进行控制。根据向选择在显示器中显示的项目的触摸板的触摸动作的状态判定是触摸操作模式还是声音操作模式，所以能够通过一个硬件按钮切换通常的触摸操作和与该硬件按钮关联的声音操作而输入。另外，在上述实施方式4、5中固定了硬件按钮和功能，但在本实施方式8中使硬件按钮和功能的对应为可变，所以能够在各种画面中切换输入触摸操作模式和声音操作模式。进而，不论在降低层次的过程中的哪个阶段中，都能够通过声音操作模式进行声音输入。

实施方式9.

在上述实施方式4～8中，说明了将图1、图12或者图20所示的信息装置应用于车载用信息装置的例子，但在本实施方式9中说明应用于家用电气产品等的用户接口装置的例子。

（6）仅是硬件按钮的例子

图34是示出带录像功能的电视111和对其进行操作的遥控器112的结构例子的图。在本实施方式9中，将图1、图12或者图20所示的信息装置应用于电视111和遥控器112的用户接口装置。

在该例子中，在遥控器112的“播放”硬件按钮113以及“预约”硬件按钮114被短按了的情况下，判定为触摸操作模式，在被长按了的情况下，判定为声音操作模式。输入方法的判定与上述实施方式4～8大致相同，所以说明省略。

在图34中，在用户对遥控器112的“播放”硬件按钮113进行了短按的情况下，遥控器112将输入切换为触摸操作模式，将与指令（播放、播放）对应的应用程序执行命令（显示所录像的节目的播放列表一览）输出到电视111。电视111根据该应用程序执行命令，将所录像的节目的播放列表一览显示于显示器。

另一方面，在用户边长按遥控器112的“播放”硬件按钮113边发声为“天空战记（Sky Wars）”的情况下，遥控器112将输入切换为声音操作模式，使用与指令的项目名（播放）关联的声音识别辞典（例如，包括在播放列表一览中包含的节目名等单词）来进行声音识别处理，将与指令（播放、天空战记）对应的应用程序执行命令（播放指令项目值的节目）输出到电视111。电视111根据该应用程序执行命令，从所录像的节目中选择“天空战记”来播放，并显示在显示器中。

另外，也可以如图20那样构成应用于电视111和遥控器112的用户接口装置，输出表示转换到声音操作模式的音效等，也可以输出对用户催促发声的声音向导（例如，图34所示那样的“播放什么内容?”、“请讲希望播放的节目”这样的声音）。另外，也可以从遥控器112对电视111通知，将表示转换到声音操作模式的显示（例如，图33所示那样的声音识别标志的显示）以及“请讲希望播放的节目”等文章输出到电视111的显示器。

另外，在用户对遥控器112的“预约”硬件按钮114进行了短按的情况下，遥控器112将输入切换为触摸操作模式，将与指令（预约、预约）对应的应用程序执行命令（显示节目预约表）输出到电视111。电视111根据该应用程序执行命令，将节目预约表显示在显示器中。

另一方面，在用户边长按遥控器112的“预约”硬件按钮114边发声为“天空战记”的情况下，遥控器112将输入切换为声音操作模式，使用与指令的项目名（预约）关联的声音识别辞典（例如，包括在节目预约表中包含的节目名等单词）来进行声音识别处理，将与指令（预约、天空战记）对应的应用程序执行命令（设定指令项目值的节目的录像预约）输出到电视111。电视111根据该应用程序执行命令，设定节目的录像预约。发声不限于“天空战记”等节目名，只要是“从下午8点起2个频道”等预约所需的信息即可。

另外，也可以如图20那样构成应用于电视111和遥控器112的用户接口装置，输出表示转换到声音操作模式的音效等，也可以输出对用户催促发声的声音向导（例如，“预约哪一个?”、“请讲希望预约的节目”这样的声音）。另外，也可以从遥控器112对电视111进行通知，将表示转换到声音操作模式的显示（例如，图33所示那样的声音识别标志的显示）以及“请讲希望预约的节目”等文章输出到电视111的显示器。进而，也可以在录像预约设定完成之后，输出“设定了天空战记的预约”等的声音向导或者显示。

由此，即使在声音操作模式下发声了相同的词语，也能够根据所操作的硬件按钮变更动作。

接下来，说明其他家用电气产品的例子。

图35是示出烧饭机120的结构例子的图。在图35中，在用户对“预约”硬件按钮122进行了短按的情况下，烧饭机120将输入切换为触摸操作模式，根据与指令（预约、预约）对应的应用程序执行命令（执行烧饭预约的动作），使用显示器121的显示和“设定”硬件按钮123而使用户进行预约设定。

另一方面，在用户对“预约”硬件按钮122进行了长按的情况下，烧饭机120将输入切换为声音操作模式，使用与指令的项目名（预约）关联的声音识别辞典来进行声音识别处理，根据指令的项目值中使用的应用程序执行命令，预约设定用户的发声（例如，○○点○○分）。

另外，也可以如图20那样构成应用于烧饭机120的用户接口装置，输出表示转换到声音操作模式的音效等，也可以输出对用户催促发声的声音向导（例如，“预约到几点?”这样的声音）。进而，也可以在预约设定完成之后，输出“将预约设定到○○点○○分”等声音向导或者显示。

由此，无需通过小的画面和少的按钮进行煮饭预约，而能够简单地设定烧饭预约。另外，即使是眼睛不方便的用户也能够预约。

图36是示出微波炉130的结构例子的图。在图36中，在用户对“烹调”硬件按钮132进行了短按的情况下，微波炉130将输入切换为触摸操作模式，根据与指令（烹调、烹调）对应的应用程序执行命令（显示烹调选择菜单画面），在显示器131中显示烹调选择菜单画面。

另一方面，在用户对“烹调”硬件按钮132进行了长按的情况下，微波炉130将输入切换为声音操作模式，使用与指令的项目名（烹调）关联的声音识别辞典来进行声音识别处理，根据使用户的发声成为指令项目值（例如，蒸鸡蛋羹）的应用程序执行命令，将微波炉130的输出以及时间设定为适合于蒸鸡蛋羹的值。

作为其他例子，通过用户边按压“加热”硬件按钮边发声“加热”、“牛奶”等、或者边按压“烧烤”硬件按钮边发声“干竹荚鱼”等，能够设定适合于所发声的菜单的输出以及时间。

另外，也可以如图20那样构成应用于微波炉130的用户接口装置，输出表示转换到声音操作模式的音效等，也可以输出对用户催促发声的声音向导（例如，“烹调什么?”这样的声音）。另外，也可以将表示转换到声音操作模式的显示（例如，图33所示那样的声音识别标志的显示）以及“烹调什么?”等文章输出到显示器131。进而，也可以是如果用户发声为“蒸鸡蛋羹”，则输出“对蒸鸡蛋羹进行烹调”这样的声音向导或者显示，如果烹调的准备完成，则“请按启动按钮”这样的声音向导或者显示。

由此，无需通过小的画面和小的按钮探索深层次来搜索烹调菜单，而能够简单地设定烹调。另外，也无需在操作说明书中搜索烹调菜单来调查、设定输出和时间。

以上，根据实施方式9，家用电气产品等的用户接口装置构成为具备：触摸输入检测部1，根据硬件按钮的输出信号检测触摸动作；触摸-指令变换部3，根据触摸输入检测部1的检测结果，生成包括用于使得执行与进行了触摸动作的硬件按钮对应的处理（转变目的地画面以及应用程序执行功能的一方或者两方）的项目名的指令（项目名、项目值）；声音识别部9，使用包含与处理对应起来的声音识别关键字的声音识别辞典，对与触摸动作大致同时或者接着触摸动作的用户发声进行声音识别；声音-指令变换部10，变换为用于使得执行与声音识别结果对应的处理的指令（项目值）；输入方法判定部2，根据触摸输入检测部1的检测结果，判定触摸动作的状态是表示触摸操作模式还是表示声音操作模式；输入切换控制部4，根据输入方法判定部2的判定结果，切换触摸操作模式或者声音操作模式；状态转变控制部5，在从输入切换控制部4接收到触摸操作模式的指示的情况下，从触摸-指令变换部3取得指令（项目名、项目值）并变换为应用程序执行命令，在从输入切换控制部4接收到声音操作模式的指示的情况下，从输入切换控制部4取得项目名并从声音-指令变换部10取得项目值而变换为应用程序执行命令；应用程序执行部11，依照应用程序执行命令执行处理；以及输出控制部13，对输出应用程序执行部11的执行结果的显示器等输出部进行控制。因此，根据向硬件按钮的触摸动作的状态来判定是触摸操作模式还是声音操作模式，所以能够通过一个硬件按钮切换通常的触摸操作和与该硬件按钮关联的声音操作而输入。另外，还有与上述实施方式1～3同样的效果。

另外，在上述实施方式1～9中，说明了针对车载用信息装置、遥控器112、烧饭机120、微波炉130应用了信息装置（或者用户接口装置）的例子，但不限于这些设备，也可以应用于电梯厅的指引板、大型商场的数字指引板、大型停车场的停车位置指引板、车站的售票机等。

例如，在大的办公大厦中难以知道目的地处于几层、应乘几号电梯。因此，在电梯厅前设置具备触摸显示器或者硬件按钮等输入设备的指引板，只要用户边长按输入设备边发声目的地，就能够知道乘几号电梯到几层即可（声音操作模式）。另外，用户还能够将输入设备短按而使菜单画面显示，并操作该画面而搜索目的地（触摸操作模式）。

另外例如，在大型商场中难以知道目标店铺以及想买的商品处于何处。因此，在大型商场内设置具备输入设备的数字指引板，只要用户边长按输入设备边发声目标店铺的名字、想买的商品的名字等，就能够对店铺的位置进行引导显示（声音操作模式）。另外，用户还能够短按输入设备而使菜单画面显示，并操作该画面而找到有什么样的店铺、什么样的商品（触摸操作模式）。

另外例如，在大的停车场或者大的立体停车场中，难以记住停放了自己车辆的位置。因此，在大型停车场的入口设置具备输入设备的停车位置指引板，只要用户边长按输入设备边发声本车辆的车牌号码，就能够告知停放的位置（声音操作模式）。另外，用户还能够短按输入设备而输入车牌号码（触摸操作模式）。

另外例如，在通常的车站院内，用户必须观察在售票机上布告的路线图，确认到目标车站的费用之后，按下售票机的费用按钮来购买车票，挺麻烦。因此，设置具备输入设备的售票机，只要用户边长按售票机的显示为“前往目的地”的按钮边发声目标车站名，就能够显示费用，能够直接购买车票（声音操作模式）。另外，用户还能够短按“前往目的地”按钮而显示检索目标车站名的画面、或者显示通常的费用按钮而购买车票（触摸操作模式）。该“前往目的地”按钮既可以是在触摸显示器上显示的按钮，也可以是硬件按钮。

实施方式10.

在上述实施方式1～9中，根据向触摸显示器或者硬件按钮等一个输入设备的触摸动作的状态，切换了触摸操作模式和声音操作模式这2个模式，但还能够切换为3个以上的模式。即，能够根据向一个输入设备的n种触摸动作来切换n种模式。

在本实施方式10中，说明利用一个按钮或者一个输入设备来切换3个模式的信息装置。作为模式的切换例子，有作为第1模式切换为触摸操作模式、作为第2模式切换为声音操作模式1、作为第3模式切换为声音操作模式2的例子、以及作为第1模式切换为触摸操作模式1、作为第2模式切换为触摸操作模式2、作为第3模式切换为声音操作模式的例子等。

作为输入设备，能够利用例如触摸显示器、触摸板、硬件按钮、简单选择器等。简单选择器是指，能够进行将控制杆按下、上倒（或者右）、下倒（或者左）这样的3个动作的输入设备。

如图37所示，针对第1～第3模式分别预先决定了触摸动作。

例如，在输入设备是触摸显示器以及触摸板的情况下，能够如例1那样通过输入设备被短按、被长按、被双击敲击，来判定用户希望第1～第3模式中的哪一个的输入方法。

在输入设备是硬件按钮的情况下，也可以如例2那样通过输入设备被短按、被长按、被双击点击来判定输入方法，也可以如例3那样通过短按的半按、短按的全按、长按的全按（或者半按）来判定。

在输入设备是简单选择器的情况下，如例4那样通过输入设备被按压、上倒、下倒来判定。

图38A是示出车载用信息装置具备的（或者与车载用信息装置连接的）硬件按钮100～105和显示器108的结构例子的图。另外，在图38中对与图27～图31相同或者相当的部分附加同一符号而省略说明。另外，图38B示出在图38A的显示器108中显示的画面的转变例。

在该例子中，作为输入设备，利用硬件按钮100～105。另外，在硬件按钮100～105被短按了的情况下，判定为触摸操作模式，在被长按了的情况下，判定为声音操作模式1，在被双击点击了的情况下，判定为声音操作模式2。另外，关于硬件按钮100～102，与按下连动地执行的功能根据转变画面而不同，其他的硬件按钮103～105的功能被固定。

在本实施方式10中，输入方法判定部2根据触摸信号来判定是触摸操作模式、还是声音操作模式1、还是声音操作模式2，经由输入切换控制部4通知给状态转变控制部5。状态转变表存储部6储存了规定了操作模式、指令（项目名、项目值）、以及应用程序执行命令的对应关系的状态转变表。状态转变控制部5根据在状态转变表存储部6中储存的状态转变表，将操作模式的判定结果、和从触摸-指令变换部3或者声音-指令变换部10通知的指令的组合变换为应用程序执行命令。

即、即使是相同的指令项目名，在声音操作模式1和声音操作模式2下，要变换的应用程序执行命令的内容也不同。例如，即使是相同的指令项目名（NAVI），在声音操作模式1的情况下，对NAVI功能的详细项目进行画面显示而变换为接受与详细项目有关的发声的应用程序执行命令，在声音操作模式2的情况下，变换为接受与NAVI功能整体有关的发声的应用程序执行命令。

接下来，说明触摸操作模式、声音操作模式1、声音操作模式2的具体例子。

在图38A中“NAVI”硬件按钮105被短按了的情况下，触摸输入检测部1检测该短按，触摸-指令变换部3生成指令（NAVI、NAVI）。另外，输入方法判定部2判定为触摸操作模式，接收到该判定的状态转变控制部5将指令（NAVI、NAVI）变换为应用程序执行命令而输出到应用程序执行部11。应用程序执行部11根据应用程序执行命令使显示器108显示NAVI菜单画面P100。在该NAVI菜单画面P100中，包括与“1”硬件按钮100的按下连动地执行的“1.目的地检索”功能、与“2”硬件按钮101的按下连动地执行的“2.拥堵信息”显示功能、以及与“3”硬件按钮102的按下连动地执行的“3.导航设定”功能。

另一方面，在图38A中“NAVI”硬件按钮105被长按了的情况下，触摸输入检测部1检测该长按，触摸-指令变换部3生成指令（NAVI、NAVI）。另外，输入方法判定部2判定为声音操作模式1，经由输入切换控制部4对状态转变控制部5通知指令项目名（NAVI）和是声音操作模式1的意思，在状态转变控制部5中，作为声音操作模式1，变换为用于显示NAVI的声音操作专用菜单画面P101的应用程序执行命令。应用程序执行部11根据该应用程序执行命令使显示器108显示声音操作专用菜单画面P101。在该声音操作专用菜单画面P101中，作为3个详细项目的声音识别功能，显示了与“1”硬件按钮100的按下连动地执行的“1.通过设施名称搜索”功能、与“2”硬件按钮101的按下连动地执行的“2.通过类型搜索”功能、以及与“3”硬件按钮102的按下连动地执行的“3.通过住址、电话号码搜索”功能。

在声音操作专用菜单画面P101中，在“1”硬件按钮100被按下了的情况下，触摸输入检测部1检测该按下而触摸-指令变换部3输出指令（通过设施名称搜索）。然后，声音识别辞典切换部8切换为与指令的项目名（通过设施名称搜索）关联的声音识别辞典，声音识别部9使用该声音识别辞典来进行用户发声的声音识别处理，检测用户接着硬件按钮100的按下而发声的声音操作输入。声音-指令变换部10将声音识别部9的声音识别结果变换为指令（项目值）而输出到状态转变控制部5，应用程序执行部11检索与项目值相应的设施名称。

此时，也可以从声音操作专用菜单画面P101向声音操作专用菜单画面P102进行画面转变，输出表示转换到声音操作模式的音效或者显示（声音识别标志等）等。另外，也可以输出对用户催促发声的声音向导（例如，“请讲设施名称”这样的声音），也可以显示为文章。

在习惯了操作的用户的情况下，每当操作时如声音操作模式1那样，对NAVI功能的下层的详细项目进行画面显示而操作的做法麻烦。另外，通过反复声音操作模式1的操作，认为对于可作为声音操作输入发声的内容也进行了学习。因此，在声音识别模式2中，能够使与NAVI功能整体有关的声音识别处理直接启动，立即开始声音操作。

在图38A中“NAVI”硬件按钮105被双击点击了的情况下，触摸输入检测部1检测该双击点击，触摸-指令变换部3生成指令（NAVI、NAVI）。输入方法判定部2判定为声音操作模式2，经由输入切换控制部4对状态转变控制部5通知指令项目名（NAVI）和是声音操作模式2的意思。在声音操作模式2时，状态转变控制部5直至被从声音-指令变换部10输入指令的项目值为止一直待机。

另外，如果经由输入切换控制部4对状态转变控制部5输入了指令的项目名（NAVI），则声音识别辞典切换部8切换为与NAVI关联的声音识别辞典，声音识别部9使用该声音识别辞典来进行用户发声的声音识别处理。声音-指令变换部10将声音识别部9的声音识别结果变换为指令（项目值）而输出到状态转变控制部5，状态转变控制部5变换为NAVI功能中的与项目值相应的应用程序执行命令而使应用程序执行部11执行。

此时，也可以从图38A所示的显示器108的画面向图38B所示的声音操作画面P103进行画面转变，输出表示转换到声音操作模式的音效或者显示（声音识别标志）等。另外，也可以输出对用户催促发声的声音向导（例如，“关于导航请讲话”这样的声音），也可以显示为文章。

这样，通过设置2个声音操作模式，在声音操作模式1中能够通过声音识别而操作的具体的功能项目如声音操作专用菜单画面P101那样显示，所以能够对用户启示能够作为声音操作输入发声的内容。由此，限制用户无意识地发声的内容，抑制发声未包含于声音识别辞典中的词语。进而，在画面中显示了可发声的内容，所以还能够减轻不知要说什么好这样的不安。另外，能够通过具体的内容（“请讲设施名称”等）的声音向导等，引导用户的发声，所以对于用户而言，易于进行声音操作。

在另一方的声音操作模式2中，能够通过“NAVI”硬件按钮105的双击点击使声音识别直接启动，所以能够立即开始声音操作。因此，对于习惯于声音操作且学习了可发声的内容的用户来说，能够按照少的操作步骤和少的操作时间完成操作。进而，知晓在声音操作模式1的声音操作专用菜单画面P101中显示的详细功能项目以外的声音识别关键字的用户能够在声音操作模式2中，执行比声音操作模式1的声音操作更多的功能。

这样，能够使用一个输入设备，切换通常的触摸操作模式、和两个声音操作模式（简单模式和专家模式等）这合计三个操作模式来操作。虽然说明省略，但也可以使用一个输入设备，切换两个触摸操作模式和一个声音操作模式的合计三个操作模式。

以上，根据实施方式10，车载用信息装置构成为根据来自能够由用户实施n种触摸动作的输入设备的输出信号，依据该触摸动作的状态切换n种功能。因此，能够通过一个输入设备切换n种操作模式来操作。

另外，本申请发明能够在该发明的范围内，实施各实施方式的自由的组合、或者各实施方式的任意的构成要素的变形、或者在各实施方式中任意的构成要素的省略。

产业上的可利用性

如以上那样，本发明的用户接口装置组合触摸面板操作和声音操作来缩短操作步骤数以及操作时间，所以适用于车载用等用户接口装置等。

Claims (13)

1.一种用户接口装置，具备：

触摸-指令变换部，根据触摸显示器的输出信号，生成第1指令，该第1指令用于使得执行与在该触摸显示器中显示且被进行了触摸动作的按钮对应的处理；

声音-指令变换部，使用包含与处理对应起来的声音识别关键字的声音识别辞典，对与所述触摸动作大致同时或者接着所述触摸动作的用户发声进行声音识别，变换为第2指令，该第2指令是用于使得执行与该声音识别的结果对应的处理的指令，并且该第2指令使得执行与所述第1指令的处理关联的处理组中的被分类为比该处理下层的处理；以及

输入切换控制部，根据基于所述触摸显示器的输出信号的所述触摸动作的状态，切换执行与所述触摸-指令变换部生成的第1指令对应的处理的触摸操作模式、或者执行与所述声音-指令变换部生成的第2指令对应的处理的声音操作模式。

2.根据权利要求1所述的用户接口装置，其特征在于，具备：

处理执行部，在从输入切换控制部接收到触摸操作模式的指示的情况下，从触摸-指令变换部取得与进行了由所述输入切换控制部在模式的判定中使用的触摸动作的按钮对应的第1指令，执行与该第1指令对应的处理，在从所述输入切换控制部接收到声音操作模式的指示的情况下，从声音-指令变换部取得和与所述触摸动作大致同时或者接着所述触摸动作的用户发声对应的第2指令，执行与该第2指令对应的处理；以及

输出控制部，对包括了输出所述处理执行部的执行结果的触摸显示器的输出部进行控制。

3.根据权利要求1所述的用户接口装置，其特征在于，具备：

声音识别辞典数据库，储存了包含与处理对应起来的声音识别关键字的声音识别辞典；以及

声音识别辞典切换部，切换为所述声音识别辞典数据库中的、和与进行了触摸动作的按钮关联的处理对应起来的声音识别辞典，

声音-指令变换部使用所述声音识别辞典切换部切换出的声音识别辞典，进行与所述触摸动作大致同时或者接着所述触摸动作的用户发声的声音识别。

4.根据权利要求1所述的用户接口装置，其特征在于，具备：

数据储存部，储存了被分组、进而在该组内被分层了的项目的数据；

声音识别辞典数据库，储存了与所述项目对应起来的声音识别关键字；以及

声音识别对象词辞典制作部，在所述数据储存部中储存的数据中的、各组的规定层次的项目排列的列表画面的滚动条区域被进行了触摸动作的情况下，抽出所述声音识别辞典数据库中的、与在该列表画面中排列的各项目和其下层的项目对应起来的声音识别关键字来制作声音识别对象词辞典，

声音-指令变换部使用所述声音识别辞典制作部制作的声音识别对象词辞典，对与向所述滚动条区域进行的触摸动作大致同时或者接着该触摸动作的用户发声进行声音识别，取得与在所述列表画面中排列的各项目或者其下层的项目对应起来的声音识别关键字。

5.根据权利要求2所述的用户接口装置，其特征在于，具备：

输出方法决定部，该输出方法决定部从输入切换控制部接收触摸操作模式的指示或者声音操作模式的指示，根据该指示出的模式决定利用输出部进行的执行结果的输出方法，

输出控制部依照所述输出方法决定部决定的输出方法来控制所述输出部。

6.根据权利要求5所述的用户接口装置，其特征在于，具备：

输出数据存储部，该输出数据存储部针对每个第1指令，储存了声音向导的数据，该声音向导对用户催促和与该第1指令的处理关联的处理组中的被分类为比该处理下层的处理对应起来的声音识别关键字的发声，

输出方法决定部在从输入切换控制部接收到声音操作模式的指示的情况下，从所述输出数据存储部取得与触摸-指令变换部生成的第1指令对应的声音向导的数据并输出到输出控制部，

所述输出控制部使所述输出方法决定部输出的声音向导的数据从输出部输出。

7.一种车载用信息装置，具备：

触摸显示器以及麦克风，被搭载于车辆；

触摸-指令变换部，根据所述触摸显示器的输出信号，生成第1指令，该第1指令用于使得执行与在该触摸显示器中显示且被进行了触摸动作的按钮对应的处理；

声音-指令变换部，使用包含与处理对应起来的声音识别关键字的声音识别辞典，对所述麦克风收集的与所述触摸动作大致同时或者接着所述触摸动作的用户发声进行声音识别，变换为第2指令，该第2指令是用于使得执行与该声音识别的结果对应的处理的指令，并且该第2指令使得执行与所述第1指令的处理关联的处理组中的被分类为比该处理下层的处理；以及

输入切换控制部，根据基于所述触摸显示器的输出信号的所述触摸动作的状态，切换执行与所述触摸-指令变换部生成的第1指令对应的处理的触摸操作模式、或者执行与所述声音-指令变换部生成的第2指令对应的处理的声音操作模式。

8.一种信息处理方法，具备：

触摸输入检测步骤，根据触摸显示器的输出信号，检测向在该触摸显示器中显示的按钮进行的触摸动作；

输入方法判定步骤，根据基于所述触摸输入检测步骤的检测结果的所述触摸动作的状态，判定是触摸操作模式还是声音操作模式；

触摸-指令变换步骤，在所述输入方法判定步骤中判定是触摸操作模式的情况下，根据所述触摸输入检测步骤的检测结果，生成第1指令，该第1指令用于使得执行与被进行了所述触摸动作的按钮对应的处理；

声音-指令变换步骤，在所述输入方法判定步骤中判定是声音操作模式的情况下，使用包含与处理对应起来的声音识别关键字的声音识别辞典，对与所述触摸动作大致同时或者接着所述触摸动作的用户发声进行声音识别，变换为第2指令，该第2指令是用于使得执行与该声音识别的结果对应的处理的指令，并且该第2指令使得执行与所述第1指令的处理关联的处理组中的被分类为比该处理下层的处理；以及

处理执行步骤，执行与在所述触摸-指令变换步骤中生成的第1指令、或者在所述声音-指令变换步骤中生成的第2指令对应的处理。

9.一种信息处理程序，用于使计算机执行如下步骤：

触摸输入检测步骤，根据触摸显示器的输出信号，检测向在该触摸显示器中显示的按钮进行的触摸动作；

输入方法判定步骤，根据基于所述触摸输入检测步骤的检测结果的所述触摸动作的状态，判定是触摸操作模式还是声音操作模式；

触摸-指令变换步骤，在所述输入方法判定步骤中判定是触摸操作模式的情况下，根据所述触摸输入检测步骤的检测结果，生成第1指令，该第1指令用于使得执行与被进行了所述触摸动作的按钮对应的处理；

声音-指令变换步骤，在所述输入方法判定步骤中判定是声音操作模式的情况下，使用包含与处理对应起来的声音识别关键字的声音识别辞典，对与所述触摸动作大致同时或者接着所述触摸动作的用户发声进行声音识别，变换为第2指令，该第2指令是用于使得执行与该声音识别的结果对应的处理的指令，并且该第2指令使得执行与所述第1指令的处理关联的处理组中的被分类为比该处理下层的处理；以及

处理执行步骤，执行与在所述触摸-指令变换步骤中生成的第1指令、或者在所述声音-指令变换步骤中生成的第2指令对应的处理。

10.一种用户接口装置，具备：

触摸-指令变换部，根据来自被进行了基于用户的触摸动作的输入设备的输出信号，生成第1指令，该第1指令用于使得执行与该输入设备关联起来的处理或者该输入设备当前选择的处理；

声音-指令变换部，使用包含与所述处理对应起来的声音识别关键字的声音识别辞典，对与向所述输入设备进行的所述触摸动作大致同时或者接着所述触摸动作的用户发声进行声音识别，变换为第2指令，该第2指令是用于使得执行与该声音识别的结果对应的处理的指令，并且该第2指令用于使得执行与所述第1指令的处理关联的处理组中的被分类为比该处理下层的处理；以及

输入切换控制部，根据基于所述输入设备的输出信号的所述触摸动作的状态，切换执行与所述触摸-指令变换部生成的第1指令对应的处理的触摸操作模式、或者执行与所述声音-指令变换部生成的第2指令对应的处理的声音操作模式。

11.根据权利要求10所述的用户接口装置，其特征在于，

输入设备是硬件按钮。

12.根据权利要求10所述的用户接口装置，其特征在于，

输入设备是能够操作在显示器中显示的光标来选择处理项目的光标操作用硬件设备。

13.根据权利要求10所述的用户接口装置，其特征在于，

输入设备是触摸板。

Images