CN110060670A - 操作辅助装置、操作辅助系统以及操作辅助方法 - Google Patents

Abstract

本发明提供操作辅助装置、操作辅助系统以及操作辅助方法。操作辅助装置具备声音识别部和指令生成部。声音识别部将声音数据转换为文本信息。指令生成部在文本信息中包括表示应用软件的关键字的情况下，从显示设备具备的多个输入端子之中确定与应用软件相关联的输入端子。指令生成部(25)生成使已确定的输入端子活性化的切换指令和使应用软件启动的启动指令作为控制指令。

Description

操作辅助装置、操作辅助系统以及操作辅助方法

技术领域

本发明涉及辅助用户对显示设备的操作的操作辅助装置、操作辅助系统以及操作辅助方法。

背景技术

在专利文献1中公开了利用声音识别技术来辅助用户的操作的广播接收装置。专利文献1中公开的广播接收装置使与用户声音对应的外部输入装置所连接的外部输入端子活性化，显示从与用户声音对应的外部输入装置接收的视频。具体地说，专利文献1中公开的广播接收装置具备外部输入端子、呼出语设定部、保存部、声音识别部、控制部以及显示部。另外，广播接收装置与服务器连接并且能与服务器通信。

外部输入端子连接外部输入装置。呼出语设定部设定外部输入装置的呼出语。保存部将呼出语和与呼出语对应的外部输入装置所连接的外部输入端子匹配后进行保存。声音识别部将用户声音转换为数字信号后发送到服务器。服务器基于数字信号生成与用户声音对应的文本信息。

控制部基于从服务器接收到的文本信息来判断在用户声音中是否包括呼出语，在用户声音中包括呼出语的情况下，使与呼出语对应的外部输入端子活性化，控制显示部使其显示与呼出语对应的外部输入端子所接收的视频。专利文献1中公开的呼出语例如是视频、DVD、蓝光。

现有技术文献

专利文件

专利文献1：特开2014-021493号公报

但是，专利文献1中公开的广播接收装置在安装有应用软件的终端设备(例如个人计算机)连接到显示设备的情况下，无法根据用户声音使显示设备显示通过该应用软件生成的图像信息。

发明内容

本发明所要解决的技术问题

本发明是鉴于上述问题而完成的，其目的在于提供在显示设备所连接的终端设备中安装有应用软件的情况下，能根据用户声音显示通过该应用软件生成的图像信息的操作辅助装置、操作辅助系统以及操作辅助方法。

本发明的操作辅助装置辅助显示设备的操作。该操作辅助装置具备声音识别部和指令生成部。上述声音识别部将声音数据转换为文本信息。上述指令生成部生成与上述文本信息的内容对应的控制指令。另外，上述指令生成部在上述文本信息中包括表示应用软件的关键字的情况下，从上述显示设备具备的多个输入端子之中确定与上述应用软件相关联的输入端子。上述指令生成部生成使已确定的上述输入端子活性化的切换指令和使上述应用软件启动的启动指令作为上述控制指令。

本发明的操作辅助系统具备显示设备和辅助上述显示设备的操作的操作辅助装置。上述操作辅助装置具备声音识别部和指令生成部。上述声音识别部将声音数据转换为文本信息。上述指令生成部生成与上述文本信息的内容对应的控制指令。另外，上述指令生成部在上述文本信息中包括表示应用软件的关键字的情况下，从上述显示设备具备的多个输入端子之中确定与上述应用软件相关联的输入端子。上述指令生成部生成使已确定的上述输入端子活性化的切换指令和使上述应用软件启动的启动指令作为上述控制指令。上述显示设备显示通过上述切换指令被活性化的上述输入端子所接收的图像信息。

本发明的操作辅助方法辅助显示设备的操作。该操作辅助方法包括：声音识别步骤，将声音数据转换为文本信息；指令生成步骤，生成与上述文本信息的内容对应的控制指令；以及显示步骤，显示图像信息。上述指令生成步骤包括：在上述文本信息中包括表示应用软件的关键字的情况下，从上述显示设备具备的多个输入端子之中确定与上述应用软件相关联的输入端子的步骤；以及生成使已确定的上述输入端子活性化的切换指令和使上述应用软件启动的启动指令作为上述控制指令的步骤。上述显示步骤包括显示通过上述切换指令被活性化的上述输入端子所接收的图像信息的步骤。

根据本发明，在显示设备所连接的终端设备中安装有应用软件的情况下，能根据用户声音显示通过该应用软件生成的图像信息。

附图说明

图1是表示本发明的第一实施方式的会议系统的图。

图2是表示本发明的第一实施方式的会议辅助服务器的构成的图。

图3是表示本发明的第一实施方式的第一终端设备的构成的图。

图4是表示本发明的第一实施方式的麦克风/扬声器装置的构成的图。

图5是表示本发明的第一实施方式的显示设备的构成的图。

图6是表示本发明的第一实施方式的连接设备注册画面的图。

图7的(a)是表示本发明的第一实施方式的第一管理表的图。图7的(b)是表示本发明的第一实施方式的应用程序表的图。

图8是表示本发明的第一实施方式的第一关键字群的图。

图9是表示本发明的第一实施方式的第二关键字群的图。

图10是表示本发明的第一实施方式的第三关键字群的图。

图11是表示本发明的第一实施方式的第二管理表的图。

图12是表示本发明的第一实施方式的注册处理的图。

图13是表示本发明的第一实施方式的显示切换处理的图。

图14是表示本发明的第一实施方式的显示切换处理的图。

图15是表示本发明的第一实施方式的显示切换处理的图。

图16是表示本发明的第一实施方式的显示切换处理的其它例子的图。

图17是表示本发明的第一实施方式的显示画面设定处理的图。

图18是表示本发明的第二实施方式的第一终端设备的构成的图。

图19是表示本发明的第二实施方式的第二终端设备的构成的图。

图20是表示本发明的第二实施方式的会议辅助服务器的构成的图。

图21是表示本发明的第二实施方式的第一管理表的图。

图22是表示本发明的第二实施方式的第四关键字群的图。

图23是表示本发明的第二实施方式的显示画面设定处理的图。

图24是表示本发明的其它实施方式的主画面和子画面的图。

具体实施方式

以下，参照附图说明本发明的实施方式。不过，本发明不限于以下的实施方式。针对图中的同一或相当部分附上同一附图标记而不进行反复说明。另外，针对说明重复的部位有时适当地省略说明。

[第一实施方式]

图1是表示本实施方式的会议系统1的图。会议系统1在会议中使用。会议系统1是操作辅助系统的一例。如图1所示，会议系统1具备：会议辅助服务器2、接入点3、第一终端设备4～第三终端设备6、麦克风/扬声器装置7以及显示设备8。

在本实施方式中，会议辅助服务器2是操作辅助装置的一例，辅助显示设备8的操作。具体地说，会议辅助服务器2在用户发出的声音中包括预先规定的关键字的情况下，根据用户发出的声音来切换显示设备8的显示画面。此外，在以下的说明中，有时将用户发出的声音记载为“用户声音”。

接入点3将互联网线路9和LAN(Local Area Network：局域网)缆线10连接。LAN缆线10连接第一终端设备4～第三终端设备6和显示设备8。会议辅助服务器2经由互联网线路9、接入点3以及LAN缆线10在与第一终端设备4之间进行通信。

接入点3经由无线LAN与麦克风/扬声器装置7连接。会议辅助服务器2经由互联网线路9、接入点3以及无线LAN在与麦克风/扬声器装置7之间进行通信。

此外，接入点3既可以经由无线LAN与第一终端设备4连接，也可以经由LAN缆线10与麦克风/扬声器装置7连接。

第一终端设备4～第三终端设备6连接到显示设备8，将图像信息输出到显示设备8。第一终端设备4经由LAN缆线10在与第二终端设备5、第三终端设备6以及显示设备8之间进行通信。此外，第一终端设备4也可以经由无线LAN在与第二终端设备5、第三终端设备6以及显示设备8之间进行通信。

第一终端设备4只要能输出图像信息即可，没有特别限定。在本实施方式中，第一终端设备4是会议室PC(个人计算机)，能安装应用软件。在会议室PC中能使用通用的个人计算机。

第二终端设备5和第三终端设备6只要能输出图像信息即可，没有特别限定。第二终端设备5和第三终端设备6例如可以是输出经由互联网线路9从外部的服务器取得的视频信息的设备。或者，第二终端设备5和第三终端设备6可以是通用的个人计算机、摄像机、DVD再现装置或蓝光再现装置。在本实施方式中，第二终端设备5和第三终端设备6是客户PC，能安装应用软件。

在第一终端设备4～第三终端设备6中安装的应用软件例如是电子黑板软件、表格计算软件、文档创建软件、电视会议软件、网络会议软件、视频会议软件以及演示软件。

麦克风/扬声器装置7是声音收集装置的一例，对用户发出的声音进行收集，将收集到的声音转换为声音数据(数字数据)，将其向会议辅助服务器2发送。另外，麦克风/扬声器装置7基于从会议辅助服务器2接收到的声音数据(数字数据)输出声音。

显示设备8显示图像信息。具体地说，显示设备8具备第一输入端子81～第三输入端子83。第一输入端子81～第三输入端子83连接着能输出图像信息的设备。第一输入端子81～第三输入端子83例如是D-SUB端子、HDMI(注册商标)端子或Displayport。

在本实施方式中，第一输入端子81连接着第一终端设备4。第二输入端子82连接着第二终端设备5。第三输入端子83连接着第三终端设备6。显示设备8使第一输入端子81～第三输入端子83中的任意一个输入端子活性化，显示第一输入端子81～第三输入端子83中的被活性化的输入端子所接收到的图像信息。例如在使第一输入端子81活性化的情况下，显示第一输入端子81从第一终端设备4接收的图像信息。

接下来，参照图1和图2说明会议辅助服务器2的构成。图2是表示会议辅助服务器2的构成的图。如图2所示，会议辅助服务器2具备通信部21、声音识别部22、存储部23以及控制部24。

通信部21连接到互联网线路9(图1)。例如，通信部21具备LAN板或LAN模块。通信部21控制与第一终端设备4(图1)和麦克风/扬声器装置7(图1)之间的通信。

声音识别部22将从麦克风/扬声器装置7(图1)接收到的声音数据通过声音识别技术转换为文本信息(以下有时记载为“识别结果文本”。)。声音识别部22例如具备声音识别LSI(Large Scale Integration：大规模集成电路)。

存储部23例如具备RAM(Random Access Memory：随机存取存储器)以及ROM(ReadOnly Memory：只读存储器)那样的半导体存储器。存储部23还具备HDD(Hard Disk Drive：硬盘驱动器)那样的存储设备。存储部23存储控制部24所执行的控制程序。

在本实施方式中，存储部23存储第一管理表231、应用程序表232、第一关键字群233、第二关键字群234、第三关键字群235以及第二管理表236。

第一管理表231和应用程序表232将在第一终端设备4～第三终端设备6(图1)中安装的第一应用软件、连接到第一输入端子81～第三输入端子83(图1)的设备、以及第一输入端子81～第三输入端子83(图1)相对应。以下，有时将第一应用软件记载为“外部应用程序”。

第一管理表231还将显示设备8(图1)和在显示设备8(图1)中安装的第二应用软件相对应。以下，有时将第二应用软件记载为“内置应用程序”。内置应用程序例如是图5所示的由显示设备8的存储部87存储的电子黑板软件。

第一关键字群233包括表示连接到第一输入端子81～第三输入端子83(图1)的各设备的关键字。在本实施方式中，第一关键字群233包括表示第一终端设备4～第三终端设备6(图1)的各关键字。第二关键字群234包括使显示设备8(图1)所显示的显示画面回到前一个显示画面的关键字。第三关键字群235包括表示在第一终端设备4～第三终端设备6(图1)和显示设备8(图1)中安装的各应用软件的关键字。第二管理表236示出显示设备8(图1)所显示的显示画面的履历(履历信息)。

控制部24例如具备CPU(Central Processing Unit：中央处理单元)或MPU(MicroProcessing Unit：微处理单元)那样的处理器。另外，控制部24(计算机)基于由存储部23存储的控制程序(计算机程序)来控制会议辅助服务器2的动作。在本实施方式中，控制部24执行控制程序，从而作为指令生成部25和判断部26发挥功能。

指令生成部25生成与识别结果文本的内容对应的控制指令。判断部26判断在识别结果文本中包括如下关键字中的哪一个关键字：表示外部应用程序和内置应用程序中的哪一个应用程序的关键字、表示连接到第一输入端子81～第三输入端子83(图1)的设备中的哪一个设备的关键字、以及使显示设备8(图1)所显示的显示画面回到前一个显示画面的关键字。

具体地说，判断部26参照第一关键字群233～第三关键字群235来判断识别结果文本中包括的关键字符合属于第一关键字群233的关键字、属于第二关键字群234的关键字、以及属于第三关键字群235的关键字中的哪一个关键字。指令生成部25根据判断部26的判断结果，执行以下说明的第一控制指令生成处理～第四控制指令生成处理。

[第一控制指令生成处理]

指令生成部25在识别结果文本中包括表示某外部应用程序的关键字的情况下，从第一输入端子81～第三输入端子83(图1)之中确定与该外部应用程序相关联的输入端子。

在本实施方式中，指令生成部25首先从第一终端设备4～第三终端设备6(图1)之中确定安装有外部应用程序的设备。具体地说，指令生成部25参照第一管理表231和应用程序表232来确定安装有与识别结果文本的关键字对应的外部应用程序的设备。

指令生成部25还从第一输入端子81～第三输入端子83(图1)之中确定出连接有已确定的设备的输入端子。具体地说，指令生成部25参照第一管理表231来确定出与已确定的设备相对应的输入端子。

另外，指令生成部25当对输入端子进行确定时，生成使已确定的输入端子活性化的第一切换指令、和使与识别结果文本的关键字对应的外部应用程序启动的第一启动指令作为控制指令。第一切换指令表示指定第一输入端子81～第三输入端子83中的任意一个输入端子并使已经指定的输入端子活性化的命令。控制指令(第一切换指令和第一启动指令)发送到参照图1说明的第一终端设备4(会议室PC)。此外，在以下的说明中，有时将与识别结果文本的关键字对应的应用软件记载为指定应用程序。指定应用程序是通过用户声音指定的应用软件。

[第二控制指令生成处理]

指令生成部25在识别结果文本中包括表示内置应用程序的关键字的情况下，生成使全部第一输入端子81～第三输入端子83非活性化的第二切换指令、和使与识别结果文本的关键字对应的内置应用程序启动的第二启动指令作为控制指令。控制指令(第二切换指令和第二启动指令)发送到参照图1说明的第一终端设备4(会议室PC)。

[第三控制指令生成处理]

指令生成部25在识别结果文本中包括表示第一终端设备4～第三终端设备6(图1)中的一个终端设备的关键字的情况下，从第一输入端子81～第三输入端子83(图1)之中确定该设备所连接的输入端子。

具体地说，指令生成部25参照第一管理表231来确定与识别结果文本的关键字对应的设备。另外，参照第一管理表231来确定与已确定的设备相对应的输入端子。指令生成部25当对输入端子进行确定时，生成第一切换指令作为控制指令。控制指令(第一切换指令)发送到参照图1说明的第一终端设备4(会议室PC)。

[第四控制指令生成处理]

指令生成部25在识别结果文本中包括使显示设备8(图1)所显示的显示画面回到前一个显示画面的关键字的情况下，参照第二管理表236生成使显示设备8(图1)显示前一个显示画面的控制指令。回到前一个显示画面的关键字例如是“前面的画面”、“原来的画面”或“刚才的画面”。

具体地说，第二管理表236在由前一个显示画面显示的图像信息是通过第一输入端子81～第三输入端子83(图1)中的一个输入端子接收到的图像信息的情况下，表示通过该输入端子接收到的图像信息已经显示于前一个显示画面。典型地说，第二管理表236示出接收到在前一个显示画面中显示的图像信息的输入端子。在该情况下，指令生成部25生成第一切换指令作为控制指令。控制指令(第一切换指令)发送到参照图1说明的第一终端设备4(会议室PC)。

另外，在前一个显示画面中显示的图像信息是通过内置应用程序生成的图像信息的情况下，第二管理表236示出通过内置应用程序生成的图像信息显示于前一个显示画面。在该情况下，指令生成部25生成第二切换指令和第二启动指令作为控制指令。控制指令(第二切换指令和第二启动指令)发送到参照图1说明的第一终端设备4(会议室PC)。

以上，说明了第一控制指令生成处理～第四控制指令生成处理。接下来，参照图1和图2说明控制部24执行的声音数据输出处理。

控制部24在识别结果文本中包括的关键字与属于第一关键字群233～第三关键字群235的关键字中的任何一个关键字都不符合的情况下，执行声音数据输出处理。具体地说，控制部24将预先规定的声音数据发送到麦克风/扬声器装置7。预先规定的声音数据预先存储到存储部23。预先规定的声音数据表示用于使用户再次发声的消息。例如，消息的内容是“请再说一次”。

以上，参照图1和图2说明了会议辅助服务器2。此外，图2所示的会议辅助服务器2具备声音识别部22，但控制部24也可以具有声音识别部22的功能。在该情况下，可省略声音识别部22。

接下来，参照图1和图3说明第一终端设备4的构成。图3是表示第一终端设备4(会议室PC)的构成的图。如图3所示，第一终端设备4具备输出端子41、通信部42、操作部43、显示部44、存储部45以及控制部46。

输出端子41输出图像信息。输出端子41连接到显示设备8的第一输入端子81(图1)。在显示设备8的第一输入端子81(图1)被活性化的情况下，从输出端子41输出的图像信息由显示设备8(图1)显示。

通信部42连接到LAN缆线10(图1)。通信部42例如具备LAN板或LAN模块。通信部42控制与会议辅助服务器2(图1)之间的通信。另外，通信部42控制与第二终端设备5(图1)、第三终端设备6(图1)以及显示设备8(图1)之间的通信。

具体地说，通信部42从会议辅助服务器2(图1)接收控制指令。另外，通信部42将第一切换指令或第二切换指令发送到显示设备8(图1)。在发送第二切换指令的情况下，通信部42还将第二启动指令发送到显示设备8(图1)。另外，通信部42将第一启动指令发送到安装有指定应用程序(外部应用程序)的设备。此外，在安装有指定应用程序的设备是第一终端设备4的情况下，通信部42向自身发送第一启动指令。

操作部43由用户操作，受理来自用户的指示。操作部43将与用户的操作相应的信号输出到控制部46。其结果是，第一终端设备4执行与操作部43所受理的操作相应的动作。操作部43例如具备指示器件和键盘。此外，操作部43也可以具备触摸传感器。触摸传感器与显示部44的显示面重叠。

显示部44显示各种画面。在本实施方式中，显示部44显示参照图6后述的连接设备注册画面60。连接设备注册画面60是用户接口画面，受理各种信息的注册。显示部44例如是液晶显示器或有机EL(electroluminescence：电致发光)显示器。此外，在触摸传感器与显示部44的显示面重叠的情况下，显示部44作为触摸显示器发挥功能。

存储部45具备例如RAM和ROM那样的半导体存储器。存储部45还具备HDD那样的存储设备。存储部45存储控制部46所执行的控制程序。

在本实施方式中，存储部45存储显示切换控制程序451、应用程序启动指示控制程序452以及应用软件453(外部应用程序)。

显示切换控制程序451是用于将从会议辅助服务器2(图1)接收到的第一切换指令或第二切换指令发送到显示设备8(图1)的程序。应用程序启动指示控制程序452是用于将从会议辅助服务器2(图1)接收到的第一启动指令或第二启动指令发送到安装有指定应用程序的设备的程序。

控制部46具备例如CPU那样的处理器。另外，控制部46(计算机)基于在存储部45中已经存储的控制程序(计算机程序)来控制第一终端设备4的动作。

在本实施方式中，控制部46执行显示切换控制程序451，由此将从会议辅助服务器2(图1)接收到的第一切换指令或第二切换指令发送到显示设备8(图1)。

另外，控制部46执行应用程序启动指示控制程序452，由此对安装有指定应用程序的设备进行确定，将从会议辅助服务器2(图1)接收到的第一启动指令或第二启动指令发送到安装有指定应用程序的设备。

另外，控制部46将表示在显示部44中显示的图像的图像数据经由输出端子41发送到第一输入端子81(图1)。显示设备8(图1)在第一输入端子81实现活性化的情况下，显示在显示部44中显示的图像。例如，显示部44有时显示外部应用程序453作为当前处理的对象的数据文件。换句话说，显示部44有时显示外部应用程序453已经打开的数据文件。在该情况下，显示设备8(图1)显示表示外部应用程序453已经打开的数据文件的画面。数据文件存储到存储部45。此外，控制部46也可以将表示在显示部44中显示的图像的图像数据经由输出端子41(图1)和LAN缆线10(图1)发送到第一输入端子81(图1)，将在显示部44中显示的图像显示于显示设备8(图1)。

接下来，参照图1和图4说明麦克风/扬声器装置7的构成。图4是表示麦克风/扬声器装置7的构成的图。如图4所示，麦克风/扬声器装置7具备通信部71、声音输入部72、声音输出部73、存储部74以及控制部75。

通信部71连接到接入点3(图1)。通信部71控制与会议辅助服务器2(图1)之间的通信。具体地说，通信部71将声音数据发送到会议辅助服务器2(图1)。另外，通信部71从会议辅助服务器2(图1)接收声音数据。通信部71例如是无线LAN板或无线LAN模块。

声音输入部72收集用户发出的声音后将其转换为模拟电信号。模拟电信号输入到控制部75。声音输入部72例如是麦克风。声音输出部73输出与从会议辅助服务器2(图1)接收到的声音数据对应的声音。声音输出部73例如是扬声器。

存储部74例如具备RAM和ROM那样的半导体存储器。存储部74还可以具备HDD那样的存储设备。存储部74存储控制部75所执行的控制程序。

控制部75例如具备CPU或MPU那样的处理器。另外，控制部75(计算机)基于在存储部74中存储的控制程序(计算机程序)来控制麦克风/扬声器装置7的动作。

接下来，参照图1和图5说明显示设备8的构成。图5是表示显示设备8的构成的图。如图5所示，显示设备8除了具备参照图1说明的第一输入端子81～第三输入端子83以外，还具备通信部84、输入端子切换部85、显示部86、存储部87以及控制部88。

通信部84连接到LAN缆线10(图1)。通信部84例如具备LAN板或LAN模块。通信部84控制与第一终端设备4(图1)之间的通信。具体地说，通信部84从第一终端设备4(图1)接收第一切换指令或第二切换指令。在接收第二切换指令的情况下，通信部84还接收第二启动指令。

输入端子切换部85选择第一输入端子81～第三输入端子83中的任意一个输入端子并使其活性化。在本实施方式中，输入端子切换部85根据第一切换指令使第一输入端子81～第三输入端子83中的任意一个输入端子活性化。另外，输入端子切换部85根据第二切换指令使第一输入端子81～第三输入端子83全部非活性化。

显示部86显示第一输入端子81～第三输入端子83中的被活性化的输入端子所接收的图像信息。或者显示部86显示通过内置应用程序生成的图像信息。显示部86例如是液晶显示器或有机EL显示器。此外，显示部86可以具备触摸传感器。换句话说，显示部86可以是触摸显示器。

存储部87例如具备RAM和ROM那样的半导体存储器。存储部87还可以具备HDD那样的存储设备。存储部87存储控制部88所执行的控制程序。在本实施方式中，存储部87存储内置电子黑板软件871。内置电子黑板软件871是内置应用程序的一例。

控制部88具备例如CPU或MPU那样的处理器。另外，控制部88(计算机)基于在存储部87中存储的控制程序(计算机程序)来控制显示设备8的动作。

在本实施方式中，控制部88根据第一切换指令或第二切换指令来控制输入端子切换部85。具体地说，控制部88在接收到第一切换指令的情况下，基于第一切换指令使第一输入端子81～第三输入端子83中的任意一个输入端子活性化，在接收到第二切换指令的情况下，使第一输入端子81～第三输入端子83全部非活性化。另外，控制部88基于第二启动指令使内置电子黑板软件871启动。

以上，参照图1～图5说明了本实施方式。此外，在本实施方式中，会议辅助服务器2执行了声音识别处理，但麦克风/扬声器装置7也可以执行声音识别处理后将识别结果文本发送到会议辅助服务器2。

根据本实施方式，在显示设备8所连接的终端设备(第一终端设备4～第三终端设备6)中安装有应用软件的情况下，能根据用户声音显示通过该应用软件生成的图像信息。

另外，根据本实施方式，参照各表(第一管理表231、应用程序表232以及第二管理表236)生成控制指令，因此控制指令的创建变得容易。

而且，根据本实施方式，能通过第二管理表236来管理显示设备8已经显示的显示画面的履历。因而，用户能不识别在前一个画面中显示的图像信息的输出源，而通过“前面的画面”或“原来的画面”、“刚才的画面”那样的关键字使显示设备8所显示的画面回到前一个画面。因而，用户能更直观地切换显示设备8的显示画面。

另外，根据本实施方式，通过声音不仅能启动在显示设备8所连接的设备(第一终端设备4～第三终端设备6)中已经安装的应用软件，还能启动在显示设备8中已经安装的应用软件。因而，能提高用户的便利性。

接下来，参照图1～图3和图6说明连接设备注册画面60。图6是表示本实施方式的连接设备注册画面60的图。连接设备注册画面60是在第一终端设备4的显示部44(图3)中显示的用户接口画面。用户能操作第一终端设备4的操作部43(图3)在连接设备注册画面60中设定(注册)各种信息。此外，第一终端设备4(图3)也可以将用户接口画面的图像数据发送到显示设备8(图5)后使显示设备8的显示部86(图5)显示在第一终端设备4的显示部44(图3)中显示的用户接口画面。

如图6所示，本实施方式的连接设备注册画面60显示输入端子名栏61、连接设备名注册栏62以及多个应用程序信息注册栏63。另外，连接设备注册画面60显示保存按钮64和取消按钮65。

在输入端子名栏61中，作为第一输入端子81～第三输入端子83(图1)各自的名称而设定事先已经设定的名称(默认名)。具体地说，在输入端子名栏61中设定D-SUB端子、HDMI(注册商标)端子、或Displayport等。

在连接设备名注册栏62中设定连接到第一输入端子81～第三输入端子83(图1)各者的设备的名称(设备名)。设备名是用户任意决定的。

在应用程序信息注册栏63中设定在连接到第一输入端子81～第三输入端子83(图1)各者的设备中已经安装的应用程序的信息。具体地说，应用程序信息注册栏63受理用户任意决定的应用软件的名称(用户标签)和应用程序名(厂商指定的名称)的设定。

保存按钮64是用于保存在连接设备注册画面60中已经设定的信息的按钮，当用户操作操作部43(图3)后输入按下保存按钮64的指示时，在连接设备注册画面60中已经设定的信息被保存，会议辅助服务器2的控制部24(图2)创建第一管理表231(图2)和应用程序表232(图2)。

取消按钮65是用于取消使用了连接设备注册画面60的信息注册处理的按钮，当用户操作操作部43(图3)后输入按下取消按钮65的指示时，在连接设备注册画面60中已经设定的信息不被保存，连接设备注册画面60关闭。

接下来，参照图1～图3和图7的(a)说明第一管理表231。图7的(a)是表示本实施方式的第一管理表231的图。如图7的(a)所示，第一管理表231具有显示设备ID栏701、第一标识栏702、第二标识栏703、应用程序信息栏704。

在显示设备ID栏701中设定显示设备8(图1)的识别编号(默认值)。显示设备8(图1)的识别编号是预先设定的。

在第一标识栏702中设定第一输入端子81～第三输入端子83(图1)的第一标识。在第一输入端子81～第三输入端子83(图1)的第一标识中，作为第一输入端子81～第三输入端子83(图1)各自的名称而使用事先已经设定的名称(默认名)。具体地说，在第一标识栏702中反映参照图6说明的在输入端子名栏61中已经设定的名称。具体地说，会议辅助服务器2的控制部24(图2)基于参照图6说明的在输入端子名栏61中已经设定的信息来创建第一标识栏702。

而且，在显示设备8(图1)中安装有内置应用程序的情况下，该内置应用程序的第一标识设定于第一标识栏702。内置应用程序的第一标识既可以是预先设定的，也可以是用户操作第一终端设备4的操作部43(图3)后事先设定(注册)的。

在第二标识栏703中设定第一输入端子81～第三输入端子83(图1)的第二标识。在第一输入端子81～第三输入端子83(图1)的第二标识中设定连接到第一输入端子81～第三输入端子83(图1)各者的设备(第一终端设备4～第三终端设备6)的名称(设备名)。具体地说，在第二标识栏703中反映参照图6说明的在连接设备名注册栏62中已经设定的名称。具体地说，会议辅助服务器2的控制部24(图2)基于参照图6说明的在连接设备名注册栏62中已经设定的信息来创建第二标识栏703。

而且，在显示设备8(图1)中安装有内置应用程序的情况下，作为该内置应用程序的第二标识，在第二标识栏703中设定用户任意决定的应用程序的名称(用户标签)。内置应用程序的用户标签也可以是用户操作第一终端设备4的操作部43(图3)后事先设定(注册)的。

应用程序信息栏704示出在第二标识栏703中已经设定的各设备中是否安装有外部应用程序。具体地说，会议辅助服务器2的控制部24(图2)基于参照图6说明的在应用程序信息注册栏63中已经设定的信息来创建应用程序信息栏704。在此，应用程序信息栏704的“应用程序表1”表示安装有外部应用程序，并且表示该外部应用程序的信息设定于“应用程序表1”。“应用程序表2”和“应用程序表3”也与“应用程序表1”相同。此外，在没有安装外部应用程序的情况下，应用程序信息栏704示出“Null”。

在显示设备8(图1)中安装有内置应用程序的情况下，该内置应用程序的应用程序名(厂商指定的名称)作为应用程序标识而设定到应用程序信息栏704。内置应用程序的应用程序名是预先设定的。或者也可以是用户操作第一终端设备4的操作部43(图3)后事先设定(注册)内置应用程序的应用程序名。

接下来，参照图1～图3和图7的(b)说明应用程序表232。图7的b)是表示本实施方式的应用程序表232的图。具体地说，图7的(b)例示了“应用程序表1”。如图7的(b)所示，应用程序表232具有启动指令栏705、应用程序标识栏706以及用户标签标识栏707。

在启动指令栏705中设定外部应用程序的启动指令(第一启动指令)。具体地说，参照图2说明的会议辅助服务器2的控制部24(指令生成部25)使用外部应用程序的应用程序名生成启动指令。具体地说，作为启动指令生成“exe”+“应用程序名”，将生成的启动指令设定到启动指令栏705。此外，与外部应用程序的启动指令同样地还生成内置应用程序的启动指令(第二启动指令)。

在应用程序标识栏706中，设定外部应用程序的应用程序名作为外部应用程序的应用程序标识。具体地说，会议辅助服务器2的控制部24(图2)基于参照图6说明的在应用程序信息注册栏63中已经设定的信息来创建应用程序标识栏706。

在用户标签标识栏707中，设定外部应用程序的用户标签作为外部应用程序的用户标签标识。具体地说，会议辅助服务器2的控制部24(图2)基于参照图6说明的在应用程序信息注册栏63中已经设定的信息来创建用户标签标识栏707。

接下来，参照图1、图2、图7的(a)和图8说明第一关键字群233。图8是表示本实施方式的第一关键字群233的图。在本实施方式中，第一关键字群233包括连接到第一输入端子81～第三输入端子83(图1)的第一终端设备4～第三终端设备6(图1)的设备名。具体地说，会议辅助服务器2的控制部24(图2)基于参照图7的(a)说明的在第二标识栏703中已经设定的信息来创建第一关键字群233。

接下来，参照图1、图3以及图9说明第二关键字群234。图9是表示本实施方式的第二关键字群234的图。在本实施方式中，第二关键字群234包括使显示设备8(图1)显示的显示画面回到前一个显示画面的各关键字。第二关键字群234既可以是预先设定的，也可以是用户操作第一终端设备4的操作部43(图3)后事先设定(注册)的。

接下来，参照图1～图3、图7的(a)、图7的(b)以及图10说明第三关键字群235。图10是表示本实施方式的第三关键字群235的图。在本实施方式中，第三关键字群235包括在第一终端设备4～第三终端设备6(图1)和显示设备8(图1)中已经安装的应用软件的用户标签。具体地说，会议辅助服务器2的控制部24(图2)基于参照图7的(a)说明的在应用程序信息栏704中已经设定的信息、以及参照图7的(b)说明的在用户标签标识栏707中已经设定的信息来创建第三关键字群235。

另外，第三关键字群235包括命令应用软件的启动的关键字。在图10中例示了“启动”和“开启”。命令应用软件的启动的关键字既可以是预先设定的，也可以是用户操作第一终端设备4的操作部43(图3)后事先设定(注册)的。

以上，参照图6、图7的(a)、图7的(b)以及图8～图10说明了第一管理表231、应用程序表232以及第一关键字群233～第三关键字群235。根据本实施方式，用户能任意地决定表示第一终端设备4～第三终端设备6的关键字。另外，用户能任意地决定表示外部应用程序的关键字和表示内置应用程序的关键字。因而，用户能更容易地进行显示画面的切换。

接下来，参照图1、图2、图7的(a)以及图11说明第二管理表236。图11是表示本实施方式的第二管理表236的图。如图11所示，第二管理表236具有显示设备ID栏708、默认设定端子栏709、“当前的显示”栏710以及“前一个的显示”栏711。

在显示设备ID栏708中设定显示设备8(图1)的识别编号(默认值)。显示设备8(图1)的识别编号是预先设定的。

在默认设定端子栏709中设定第一输入端子81～第三输入端子83(图1)中任意一个输入端子的第一标识(图7的(a))。“默认设定端子”是预先设定的。或者也可以是用户操作第一终端设备4的操作部43(图3)后事先设定(注册)“默认设定端子”。

“当前的显示”栏710和“前一个的显示”栏711每当显示设备8(图1)所显示的显示画面切换时被更新。具体地说，会议辅助服务器2的控制部24(图2)参照第一管理表231(图7的(a))来更新“当前的显示”栏710和“前一个的显示”栏711。

例如在显示画面中当前正在显示的图像信息是由第一输入端子81～第三输入端子83(图1)中的一个输入端子接收到的图像信息的情况下，在“当前的显示”栏710中设定该输入端子的第一标识(图7的(a))。另外，在显示画面中当前正在显示的图像信息是由内置应用程序生成的图像信息的情况下，在“当前的显示”栏710中设定该内置应用程序的应用程序标识(图7的(a))。当显示画面切换时，在“前一个的显示”栏711中设定在“当前的显示”栏710中已经设定的信息。

接下来，参照图1～图17说明会议系统1所执行的处理(动作)。首先，参照图1～图12说明注册处理。注册处理是使用参照图6说明的连接设备注册画面60注册各种信息的处理。图12是表示本实施方式的注册处理的图。

当用户操作第一终端设备4的操作部43后输入使第一终端设备4的显示部44显示连接设备注册画面60的指示时，图12所示的注册处理开始。

如图12所示，当用户输入显示连接设备注册画面60的指示时，第一终端设备4的控制部46使第一终端设备4的显示部44显示连接设备注册画面60(步骤S1)。

第一终端设备4的控制部46当使第一终端设备4的显示部44显示连接设备注册画面60时，判断连接设备注册画面60的保存按钮64和取消按钮65中的哪一个按钮已被按下(步骤S2)。

当用户操作第一终端设备4的操作部43后按下保存按钮64时(步骤S2；保存)，第一终端设备4的控制部46将在连接设备注册画面60中已经设定的各种信息向会议辅助服务器2发送(步骤S3)，结束处理。另外，当用户操作第一终端设备4的操作部43后按下取消按钮65时(步骤S2；取消)，第一终端设备4的控制部46不将在连接设备注册画面60中已经设定的各种信息向会议辅助服务器2发送，结束处理。

会议辅助服务器2的控制部24将从第一终端设备4接收到的信息注册到第一管理表231和应用程序表232中(步骤S4)。另外，当会议辅助服务器2的控制部24参照第一管理表231和应用程序表232创建第一关键字群233以及第三关键字群235时，结束处理。

接下来，参照图1～图5和图13～图15说明会议系统1所执行的显示切换处理。显示切换处理是切换显示设备8的显示画面的处理。

首先，参照图1、图2、图4以及图13说明会议辅助服务器2和麦克风/扬声器装置7所执行的处理。图13是表示本实施方式的显示切换处理的图，具体地说，表示会议辅助服务器2和麦克风/扬声器装置7所执行的处理。

显示切换处理是通过用户发出声音而开始的。如图13所示，当用户发出声音时，麦克风/扬声器装置7收集用户声音(步骤S11)，将与用户声音对应的声音数据向会议辅助服务器2发送(步骤S12)。

当会议辅助服务器2从麦克风/扬声器装置7接收声音数据时(步骤S21)，会议辅助服务器2的声音识别部22将声音数据转换为文本信息。其结果是，会议辅助服务器2的控制部24取得识别结果文本(步骤S22)。

会议辅助服务器2的控制部24当取得识别结果文本时，执行显示面设定处理(步骤S23)。具体地说，执行参照图2说明的第一控制指令生成处理～第四控制指令生成处理中的任意一个处理。参照图17后述显示画面设定处理。

会议辅助服务器2的控制部24在执行显示画面设定处理后判断显示画面的设定是否失败(步骤S24)。会议辅助服务器2的控制部24在判断为显示画面的设定没有失败的情况下(步骤S24；“否”)，将通过第一控制指令生成处理～第四控制指令生成处理中的任意一个处理生成的控制指令向第一终端设备4发送(步骤S25)，结束图13所示的处理。

另一方面，在会议辅助服务器2的控制部24判断为显示画面的设定失败的情况下(步骤S24；“是”)，执行参照图2说明的声音数据输出处理，将表示用于使用户再次发声的消息的声音数据发送到麦克风/扬声器装置7(步骤S26)。会议辅助服务器2的控制部24当执行声音数据输出处理时，结束图13所示的处理。

麦克风/扬声器装置7在发送了声音数据后(步骤S12)，判断是否从会议辅助服务器2接收到了声音数据(步骤S13)。麦克风/扬声器装置7在从会议辅助服务器2没有接收到声音数据的情况下(步骤S13；“否”)，结束图13所示的处理。

另一方面，麦克风/扬声器装置7在从会议辅助服务器2接收到声音数据的情况下(步骤S13；“是”)，输出与从会议辅助服务器2接收到的声音数据对应的声音(步骤S14)，结束图13所示的处理。因而，用户能再次通过声音进行将显示画面切换为希望的画面的指示。

接下来，参照图1、图3、图5以及图14说明第一终端设备4(会议室PC)和显示设备8所执行的处理。图14是表示本实施方式的显示切换处理的图，具体地说，表示第一终端设备4(会议室PC)和显示设备8所执行的处理。

如图14所示，第一终端设备4的控制部46当从会议辅助服务器2接收控制指令时(步骤S31)，将控制指令中包括的切换指令(第一切换指令或第二切换指令)向显示设备8发送(步骤S32)。

显示设备8的控制部884当从第一终端设备4接收切换指令(第一切换指令或第二切换指令)时(步骤S41)，根据切换指令执行切换处理(步骤S42)。具体地说，在切换指令是第一切换指令的情况下，显示设备8的控制部88使第一输入端子81～第三输入端子83中的、通过第一切换指令指定的输入端子活性化。另外，在切换指令是第二切换指令的情况下，显示设备8的控制部88使第一输入端子81～第三输入端子83全部非活性化。

显示设备8的控制部88在执行了切换处理后，将响应信号向第一终端设备4发送(步骤S43)，结束图14所示的处理。响应信号表示切换处理已经完成。

第一终端设备4的控制部46当从显示设备8接收响应信号时(步骤S33)，判断从会议辅助服务器2接收到的控制指令是否包括启动指令(第一启动指令或第二启动指令)(步骤S34)。

第一终端设备4的控制部46当判断为控制指令不包括启动指令时(步骤S34；“否”)，结束图14所示的处理。另一方面，第一终端设备4的控制部46在判断为控制指令包括启动指令时(步骤S34；“是”)，向安装有指定应用程序的设备发送启动指令(第一启动指令或第二启动指令)(步骤S35)，结束图14所示的处理。

接下来，参照图1和图15说明接收到启动指令(第一启动指令或第二启动指令)的设备X所执行的处理。图15是表示本实施方式的显示切换处理的图，具体地说，表示接收到启动指令(第一启动指令或第二启动指令)的设备X所执行的处理。

当第一终端设备4发送启动指令时，设备X接收启动指令(步骤S51)。具体地说，在启动指令是第一启动指令的情况下，由第一终端设备4～第三终端设备6中的任意一个终端设备接收第一启动指令(步骤S51)。另一方面，在启动指令是第二启动指令的情况下，由显示设备8接收第二启动指令(步骤S51)。设备X的控制部当接收启动指令时，将指定应用程序启动(步骤S52)，结束图15所示的处理。

接下来，参照图16说明显示切换处理的其它例子。图16是表示本实施方式的显示切换处理的其它例子的图。具体地说，表示第一终端设备4(会议室PC)所执行的处理的其它例子。

如图16所示，第一终端设备4的控制部46当从会议辅助服务器2接收控制指令时(步骤S311)，判断控制指令是否包括启动指令(第一启动指令或第二启动指令)(步骤S312)。

第一终端设备4的控制部46当判断为控制指令包括启动指令时(步骤S312；“是”)，向安装有指定应用程序的设备发送启动指令(第一启动指令或第二启动指令)(步骤S313)。之后，第一终端设备4的控制部46将切换指令(第一切换指令或第二切换指令)向显示设备8发送(步骤S314)，结束图16所示的处理。

另一方面，第一终端设备4的控制部46当判断为控制指令不包括启动指令时(步骤S312；“否”)，不发送启动指令，将切换指令(第一切换指令或第二切换指令)向显示设备8发送(步骤S314)，结束图16所示的处理。

以上，参照图16说明了显示切换处理的其它例子。根据图16所示的处理，能在使应用软件启动后切换显示画面。因而，不易发生显示画面一瞬间成为全黑的缺陷。

即，在应用软件的启动慢的情况下，当在发送了切换指令后发送启动指令时，在应用软件启动前，例如执行输入端子的切换，显示画面有可能一瞬间成为全黑。而通过在发送了启动指令后发送切换指令，由此在应用软件的启动慢的情况下，也不易发生显示画面一瞬间成为全黑的缺陷。

此外，优选切换指令是在发送启动指令并经过预先规定的期间后发送的。由此，更不易发生显示画面一瞬间成为全黑的缺陷。更优选在应用软件的启动时间经过后，执行切换指令的发送。由此，能防止显示画面一瞬间成为全黑的缺陷。

接下来，参照图1、图2、图7～图11以及图17说明显示画面设定处理(图13的步骤S23)。图17是表示本实施方式的显示画面设定处理的图。

如图17所示，会议辅助服务器2的控制部24当取得识别结果文本时，判断识别结果文本是否包括第一关键字群233的关键字(步骤S201)。具体地说，判断识别结果文本是否包括关键字“第一终端”、关键字“第二终端”以及关键字“第三终端”中的任意一个关键字。

会议辅助服务器2的控制部24在判断为识别结果文本包括第一关键字群233的关键字的情况下(步骤S201；“是”)，参照第一管理表231生成控制指令(步骤S202)。例如在识别结果文本包括关键字“第一终端”的情况下，在第一管理表231中检索第二标识“第一终端”，检索与第二标识“第一终端”对应的第一标识“第一输入端子”。然后，会议辅助服务器2的控制部24生成使第一输入端子81活性化的切换指令(第一切换指令)。会议辅助服务器2的控制部24当生成控制指令时，回到图13的处理。

会议辅助服务器2的控制部24在判断为识别结果文本不包括第一关键字群233的关键字的情况下(步骤S201；“否”)，判断识别结果文本是否包括第二关键字群234的关键字(步骤S203)。换句话说，判断识别结果文本是否包括使显示画面回到前一个显示画面的关键字。

会议辅助服务器2的控制部24在判断为识别结果文本包括第二关键字群234的关键字的情况下(步骤S203；“是”)，参照第二管理表236生成控制指令(步骤S202)。例如在第二管理表236的“前一个的显示”栏711中设定有第一标识“第一输入端子”的情况下，会议辅助服务器2的控制部24生成使第一输入端子81活性化的切换指令(第一切换指令)。会议辅助服务器2的控制部24当生成控制指令时，回到图13的处理。

会议辅助服务器2的控制部24在判断为识别结果文本不包括第二关键字群234的关键字的情况下(步骤S203；“否”)，判断识别结果文本是否包括第三关键字群235的关键字(步骤S204)。换句话说，判断识别结果文本是否包括表示应用软件的关键字以及指示应用软件的启动的关键字。

会议辅助服务器2的控制部24在判断为识别结果文本包括第三关键字群235的关键字的情况下(步骤S204；“是”)，判断与识别结果文本中包括的关键字对应的用户标签标识(以下有时记载为目标标识。)是否存在于第一管理表231的第二标识栏703和应用程序表232的用户标签标识栏707(步骤S205)。具体地说，会议辅助服务器2的控制部24参照第一管理表231的应用程序信息栏704来检索各应用程序表232(“应用程序表1”～“应用程序表3”)的用户标签标识栏707。另外，在目标标识不存在于用户标签标识栏707的情况下，判断在第一管理表231的第二标识栏703中是否存在目标标识。

会议辅助服务器2的控制部24在判断为存在目标标识的情况下(步骤S205；“是”)，参照第一管理表231和应用程序表232生成控制指令(步骤S202)。会议辅助服务器2的控制部24当生成控制指令时，回到图13的处理。

例如会议辅助服务器2的控制部24在“应用程序表1”的用户标签标识栏707中存在目标标识的情况下，参照在“应用程序表1”中设定的启动指令生成启动指令。另外，从第一管理表231的“应用程序表1”所包括的行检索第一标识“第一输入端子”。然后，会议辅助服务器2的控制部24生成使第一输入端子81活性化的切换指令(第一切换指令)。

另外，例如会议辅助服务器2的控制部24在第一管理表231的第二标识栏703中存在目标标识的情况下，生成第二切换指令。另外，使用存在目标标识的行中包括的应用程序信息(应用程序名)生成启动指令。

会议辅助服务器2的控制部24在判断为识别结果文本不包括第三关键字群235的关键字的情况下(步骤S204；“否”)，设定表示显示画面的设定失败的标志(步骤S206)，回到图13所示的处理。另外，会议辅助服务器2的控制部24在判断为不存在目标标识的情况下(步骤S205；“否”)，设定表示显示画面的设定失败的标志(步骤S206)，回到图13所示的处理。

[第二实施方式]

接下来，参照图1和图18～图23说明本发明的第二实施方式。不过，说明与第一实施方式不同的事项，省略关于与第一实施方式相同的事项的说明。第二实施方式与第一实施方式的不同之处在于，当用户说出在第一终端设备4～第三终端设备6中已经安装的应用软件作为当前处理的对象的数据文件的文件名时，显示设备8显示该数据文件。

首先，参照图1和图18说明本实施方式的第一终端设备4(会议室PC)。图18是表示本实施方式的第一终端设备4的构成的图。

如图18所示，本实施方式的存储部45还存储数据文件名通知程序454。另外，存储部45将作为外部应用程序453的处理对象的数据文件与表示该数据文件的文件名的信息相关联后进行存储。以下，有时将表示文件名的信息记载为“文件名信息”。

本实施方式的控制部46通过执行数据文件名通知程序454将显示部44当前正在显示的数据文件的文件名信息发送到会议辅助服务器2(图1)。换句话说，控制部46将外部应用程序453已经打开的数据文件的文件名信息发送到会议辅助服务器2(图1)。

更具体地说，控制部46使通信部42发送在显示部44中显示于最前面的数据文件的文件名信息。因而，控制部46当显示于最前面的数据文件切换时，将文件名信息发送到会议辅助服务器2(图1)。

例如，当根据用户对操作部43的操作，外部应用程序453打开数据文件时，控制部46使通信部42发送文件名信息。或者在显示部44正在显示多个数据文件的情况下，根据用户对操作部43的操作，当显示于最前面的数据文件切换时，控制部46使通信部42发送文件名信息。或者在显示部44正在显示多个数据文件的情况下，根据用户对操作部43的操作，当显示于最前面的数据文件关闭时，控制部46使通信部42发送文件名信息。或者当根据用户对操作部43的操作，实现了最小化的数据文件放大时，控制部46使通信部42发送文件名信息。此外，控制部46当根据用户对操作部43的操作而关闭在显示部44中已经显示的所有数据文件时，将表示数据文件未被显示的信息发送到会议辅助服务器2(图1)。

接下来，参照图1和图19说明本实施方式的第二终端设备5(客户PC)的构成。图19是表示本实施方式的第二终端设备5的构成的图。如图19所示，第二终端设备5具备输出端子51、通信部52、操作部53、显示部54、存储部55以及控制部56。

输出端子51输出图像信息。输出端子51连接到显示设备8的第二输入端子82(图1)。在显示设备8的第二输入端子82(图1)被活性化的情况下，通过显示设备8(图1)显示从输出端子51输出的图像信息。

通信部52连接到LAN缆线10(图1)。通信部52例如具备LAN板或LAN模块。通信部52控制与会议辅助服务器2(图1)之间的通信。具体地说，通信部52将文件名信息发送到会议辅助服务器2(图1)。另外，通信部52将表示数据文件未被显示的信息发送到会议辅助服务器2(图1)。

操作部53是由用户操作的，受理来自用户的指示。操作部53将与用户的操作相应的信号输出到控制部56。其结果是，第二终端设备5执行与操作部53受理到的操作相应的动作。操作部53例如具备指示器件和键盘。此外，操作部53也可以具备触摸传感器。触摸传感器与显示部54的显示面重叠。

显示部54显示各种画面。在本实施方式中，显示部54显示在第二终端设备5中已经安装的外部应用程序453作为当前处理的对象(当前已经打开)的数据文件。换句话说，显示部54显示外部应用程序453已经打开的数据文件。显示部54例如是液晶显示器或有机EL显示器。此外，在触摸传感器与显示部54的显示面重叠的情况下，显示部54作为触摸显示器发挥功能。

存储部55例如具备RAM和ROM那样的半导体存储器。存储部55还具备HDD那样的存储设备。存储部55存储控制部56所执行的控制程序。另外，存储部55与第一终端设备4同样地存储外部应用程序453、作为外部应用程序453的处理的对象的数据文件、文件名信息以及数据文件名通知程序454。

控制部56例如具备CPU那样的处理器。另外，控制部56(计算机)基于在存储部55中存储的控制程序(计算机程序)来控制第二终端设备5的动作。

在本实施方式中，控制部56通过执行数据文件名通知程序454，从而与参照图18说明的第一终端设备4的控制部46同样地，将显示部54当前正在显示的数据文件的文件名信息发送到会议辅助服务器2(图1)。另外，控制部56通过执行数据文件名通知程序454，从而与参照图18说明的第一终端设备4的控制部46同样地，将表示数据文件未被显示的信息发送到会议辅助服务器2。

以上，说明了本实施方式的第二终端设备5。此外，本实施方式的第三终端设备6的构成与第二终端设备5相同，因此省略其说明。

接下来，参照图1和图20说明本实施方式的会议辅助服务器2。图20是表示本实施方式的会议辅助服务器2的构成的图。

首先，说明通信部21。在本实施方式中，通信部21控制与第一终端设备4～第三终端设备6(图1)和麦克风/扬声器装置7(图1)之间的通信。本实施方式的通信部21从第一终端设备4～第三终端设备6(图1)接收文件名信息。另外，通信部21从第一终端设备4～第三终端设备6(图1)接收表示数据文件未被显示的信息。

接下来，说明存储部23。如图20所示，本实施方式的存储部23除了存储第一管理表231、应用程序表232、第一关键字群233、第二关键字群234、第三关键字群235以及第二管理表236以外，还存储第四关键字群237。

本实施方式的第一管理表231与在第一实施方式中说明的第一管理表231的不同之处在于，还将第一终端设备4～第三终端设备6(图1)当前正在显示的数据文件的文件名、连接到第一输入端子81～第三输入端子83(图1)的设备、以及第一输入端子81～第三输入端子83(图1)相对应。更具体地说，在第一终端设备4～第三终端设备6(图1)各自的显示部中显示于最前面的数据文件的文件名注册到第一管理表231。

第四关键字群237包括表示第一终端设备4～第三终端设备6(图1)当前正在显示的数据文件的文件名的关键字。更具体地说，第四关键字群237包括表示在第一终端设备4～第三终端设备6(图1)各自的显示部中显示于最前面的数据文件的文件名的关键字。

接下来，说明本实施方式的判断部26和指令生成部25。在本实施方式中，判断部26参照第一关键字群233～第四关键字群237，判断识别结果文本中包括的关键字符合属于第一关键字群233的关键字、属于第二关键字群234的关键字、属于第三关键字群235的关键字、以及属于第四关键字群237的关键字中的哪一个关键字。指令生成部25根据判断部26的判断结果来执行第一控制指令生成处理～第五控制指令生成处理中的任意一个处理。此外，第一控制指令生成处理～第四控制指令生成处理在第一实施方式中已经说明，因此省略在此的说明。以下，说明第五控制指令生成处理。

[第五控制指令生成处理]

指令生成部25在识别结果文本中包括表示某文件名的关键字的情况下，从第一输入端子81～第三输入端子83(图1)之中确定与该文件名相关联的输入端子。

具体地说，指令生成部25参照第一管理表231来确定与识别结果文本的关键字对应的设备。指令生成部25还参照第一管理表231来确定与已确定的设备相对应的输入端子。

另外，指令生成部25当对输入端子进行确定时，生成使已确定的输入端子活性化的第一切换指令作为控制指令。控制指令(第一切换指令)发送到参照图1说明的第一终端设备4(会议室PC)。

以上，参照图1和图18～图20说明了本实施方式。根据本实施方式，在显示设备8所连接的终端设备(第一终端设备4～第三终端设备6)中安装有应用软件的情况下，能根据用户声音显示通过该应用软件生成的图像信息。

具体地说，当用户说出应用软件已经打开的数据文件的文件名时，该数据文件显示于显示设备8。更具体地说，当用户说出在显示设备8所连接的终端设备的显示部中显示于最前面的数据文件的文件名时，该数据文件显示于显示设备8。根据本实施方式，用户能够以不确定出存储希望使显示设备8显示的数据文件的终端设备的方式使显示设备8显示希望的数据文件。换句话说，用户即使不知道存储有希望的数据文件的终端设备，也能使显示设备8显示希望的数据文件。

接下来，参照图1、图20以及图21说明本实施方式的第一管理表231。图21是表示本实施方式的第一管理表231的图。如图21所示，本实施方式的第一管理表231还具有数据文件名栏712。

数据文件名栏712示出在第二标识栏703中已经设定的各设备的显示部当前正在显示的数据文件的文件名。具体地说，数据文件名栏712示出在各设备的显示部中显示于最前面的数据文件的文件名。

具体地说，会议辅助服务器2的控制部24(图20)基于从第一终端设备4～第三终端设备6(图1)接收的文件名信息将文件名注册到数据文件名栏712。换句话说，会议辅助服务器2的控制部24(图20)基于从第一终端设备4～第三终端设备6(图1)接收的文件名信息来更新数据文件名栏712。另外，会议辅助服务器2的控制部24(图20)当从某设备接收表示数据文件未被显示的信息时，在与该设备对应的数据文件名栏712中设定“Null”。此外，在图21中例示了带扩展名的文件名，但也可以省略扩展名。

接下来，参照图1和图20～图22说明第四关键字群237。图22是表示本实施方式的第四关键字群237的图。第四关键字群237包括示出第一终端设备4～第三终端设备6(图1)各自的显示部当前正在显示的数据文件的文件名的关键字。具体地说，第四关键字群237包括示出在显示部中显示于最前面的数据文件的文件名的关键字。

具体地说，会议辅助服务器2的控制部24(图20)基于参照图21说明的在数据文件名栏712中已经设定的信息来创建第四关键字群237。换句话说，会议辅助服务器2的控制部24(图20)当更新数据文件名栏712时，更新第四关键字群237。此外，在图22中，例示了未附有扩展名的关键字，但也可以创建带扩展名的关键字。

接下来，参照图20～图23说明本实施方式的显示画面设定处理(图13的步骤S23)。图23是表示本实施方式的显示画面设定处理的图。图23所示的处理与图17所示的显示画面设定处理的不同之处在于，包括步骤S207。

会议辅助服务器2的控制部24在判断为识别结果文本不包括第三关键字群235的关键字的情况下(步骤S204；“否”)，判断识别结果文本是否包括第四关键字群237的关键字(步骤S207)。换句话说，判断识别结果文本是否包括表示文件名的关键字。

会议辅助服务器2的控制部24在判断为识别结果文本包括第四关键字群237的关键字的情况下(步骤S207；“是”)，参照第一管理表231生成控制指令(步骤S202)。例如在识别结果文本包括关键字“1111”(图22)的情况下，在数据文件名栏712(图21)中检索包括关键字“1111”的文件名。并且，会议辅助服务器2的控制部24生成使第一输入端子81活性化的切换指令(第一切换指令)。会议辅助服务器2的控制部24当生成控制指令时，回到图13的处理。

会议辅助服务器2的控制部24在判断为识别结果文本不包括第四关键字群237的关键字的情况下(步骤S207；“否”)，设定表示显示画面的设定失败的标志(步骤S206)，回到图13所示的处理。

以上，参照图1和图18～图23说明了本发明的第二实施方式。此外，在本实施方式中，会议辅助服务器2的存储部23存储了将输入端子、连接到输入端子的设备、以及文件名相对应的表(第一管理表231)，但会议辅助服务器2的存储部23也可以将文件名和输入端子相关联后进行存储。另外，在本实施方式中，使显示设备8显示了外部应用程序453已经打开的数据文件，但使显示设备8显示的数据文件只要是显示设备8所连接的设备正在显示的数据文件即可，不限于外部应用程序453已经打开的数据文件。

以上，参照附图说明了本发明的实施方式。不过，本发明不限于上述的实施方式，能在不脱离其宗旨的范围内通过各种方式实施。

例如，显示设备8也可以显示将基于用户声音被活性化的输入端子通知用户的图像。将被活性化的输入端子通知用户的图像例如示出被活性化的输入端子的名称(D-SUB端子、HDMI(注册商标)端子以及Displayport等)。或者显示设备8也可以显示将基于用户声音被活性化的输入端子所连接的终端设备通知用户的图像。将被活性化的输入端子所连接的终端设备通知用户的图像例如示出终端设备的名称(第一终端、第二终端等)。

另外，在本发明的实施方式中，说明了会议系统1，但应用本发明的系统只要是具备显示设备的系统即可，没有特别限定。例如，本发明能应用于在补习学校或学校中使用的讲演系统、在家庭中使用的显示系统。

另外，在本发明的实施方式中，使用了麦克风/扬声器装置7，但第一终端设备4(会议室PC)或显示设备8也可以具有麦克风/扬声器装置7的功能。

另外，在本发明的实施方式中，说明了会议辅助服务器2辅助显示设备8的显示画面的切换的构成，但会议辅助服务器2也可以辅助显示设备8的音量操作。例如，会议辅助服务器2的存储部23还可以存储“音量”、“声音大小”、“降低”以及“提高”那样的与音量有关的关键字群。会议辅助服务器2的存储部23能通过存储与音量有关的关键字群来进行与用户声音相应的音量的控制。

另外，在本发明的实施方式中，会议辅助服务器2的控制部24(指令生成部25)使用应用程序名生成了启动指令(第一启动指令)，但用户也可以操作第一终端设备4的操作部43来注册启动指令。

另外，在本发明的实施方式中，作为操作辅助装置使用了会议辅助服务器2，但作为操作辅助装置既可以使用第一终端设备4(会议室PC)，也可以使用显示设备8。

另外，在本发明的实施方式中，第一终端设备4将从会议辅助服务器2发送的控制指令向第一终端设备4～第三终端设备6和显示设备8发送，但也可以是会议辅助服务器2将控制指令向第一终端设备4～第三终端设备6和显示设备8发送。

另外，在本发明的实施方式中，显示设备8具备三个输入端子(第一输入端子81～第三输入端子83)，但显示设备8具备的输入端子的数量不限于三个，显示设备8只要具备多个输入端子即可。

另外，在本发明的实施方式中，为了取得用户声音而使用了具备收集声音的功能和输出声音的功能的装置(麦克风/扬声器装置7)，但也可以使用仅具备收集声音的功能和输出声音的功能中的收集声音的功能的装置。

另外，在本发明的实施方式中，会议辅助服务器2的存储部23存储了将输入端子、连接到输入端子的设备、以及外部应用程序相对应的表(第一管理表231)，但会议辅助服务器2的存储部23也可以存储将外部应用程序和输入端子直接相对应的表。

另外，在本发明的实施方式中，显示设备8使一个输入端子被活性化，但也可以同时使两个输入端子实现活性化。具体地说，如图24所示，显示设备8可以同时显示主画面181和与主画面181相比画面尺寸较小的子画面182。

另外，如图24所示，在同时显示主画面181和子画面182的情况下，会议辅助服务器2的存储部23还存储“更换”、“主”以及“子”那样的关键字群，从而能生成将显示于主画面181的第一图像信息和显示于子画面182的第二图像信息中的至少一方图像信息变更的控制指令。

例如，在第一输入端子81所接收的图像信息显示于主画面181、第二输入端子82所接收的图像信息显示于子画面182的状态下，在识别结果文本中包括关键字“更换”的情况下，指令生成部25能生成使子画面182显示第一输入端子81所接收的图像信息、使主画面181显示第二输入端子82所接收的图像信息的控制指令。

另外，例如在第一输入端子81所接收的图像信息显示于主画面181、第二输入端子82所接收的图像信息显示于子画面182的状态下，在识别结果文本中包括关键字“主”和关键字“第三终端”的情况下，指令生成部25能生成使主画面181显示第三输入端子83所接收的图像信息的控制指令。

[工业上的可利用性]

本发明对于如会议系统、讲演系统以及授课系统那样的使用显示设备的系统而言是有用的。

附图标记说明

1：会议系统

2：会议辅助服务器

4：第一终端设备

5：第二终端设备

6：第三终端设备

7：麦克风/扬声器装置

8：显示设备

60：连接设备注册画面

181：主画面

182：子画面

231：第一管理表

232：应用程序表

233：第一关键字群

234：第二关键字群

235：第三关键字群

236：第二管理表。

Claims (13)

1.一种操作辅助装置，其辅助显示设备的操作，所述操作辅助装置的特征在于，具备：

声音识别部，其将声音数据转换为文本信息；以及

指令生成部，其生成与所述文本信息的内容对应的控制指令，

所述指令生成部在所述文本信息中包括表示应用软件的关键字的情况下，从所述显示设备具备的多个输入端子之中确定与所述应用软件相关联的输入端子，

生成使已确定出的所述输入端子活性化的切换指令和使所述应用软件启动的启动指令作为所述控制指令。

2.根据权利要求1所述的操作辅助装置，其特征在于，

所述指令生成部在发送所述启动指令后生成所述切换指令。

3.根据权利要求1或权利要求2所述的操作辅助装置，其特征在于，

所述操作辅助装置具备存储部，所述存储部存储用户对所述应用软件任意设定的名称，

所述指令生成部在所述文本信息中包括所述名称的情况下，确定与对应于所述名称的所述应用软件相关联的输入端子。

4.根据权利要求1或权利要求2所述的操作辅助装置，其特征在于，

所述操作辅助装置具备存储部，所述存储部存储表示所述显示设备所显示了的显示画面的履历的履历信息，

在所述文本信息中包括使所述显示设备显示的显示画面回到前一个显示画面的关键字的情况下，所述指令生成部参照所述履历信息，生成使所述显示设备显示所述前一个显示画面的所述控制指令。

5.根据权利要求1或权利要求2所述的操作辅助装置，其特征在于，

所述操作辅助装置具备存储部，所述存储部将数据文件的文件名与输入端子相关联并进行存储，

在所述文本信息中包括表示所述文件名的关键字的情况下，所述指令生成部从所述显示设备具备的所述多个输入端子之中确定与所述文件名相关联的所述输入端子并生成所述切换指令。

6.根据权利要求5所述的操作辅助装置，其特征在于，

所述数据文件是所述应用软件作为当前处理的对象的数据文件。

7.根据权利要求5所述的操作辅助装置，其特征在于，

所述数据文件是连接到与所述文件名相关联的所述输入端子的设备正在显示的数据文件。

8.根据权利要求1或权利要求2所述的操作辅助装置，其特征在于，

所述操作辅助装置具备存储部，所述存储部存储将连接到所述输入端子的设备、在所述设备中已经安装的所述应用软件、以及所述输入端子相对应的管理表，

所述指令生成部参照所述管理表确定安装有所述应用软件的所述设备，且参照所述管理表确定已确定的所述设备所连接的所述输入端子。

9.根据权利要求1或权利要求2所述的操作辅助装置，其特征在于，

所述操作辅助装置具备判断部，所述判断部判断在所述文本信息中是否包括表示所述应用软件的关键字、和表示连接到所述输入端子的设备的关键字中的任意一个关键字，

所述指令生成部在所述文本信息中包括的关键字是表示所述应用软件的关键字的情况下，生成所述切换指令和所述启动指令作为所述控制指令，所述指令生成部在所述文本信息中包括的关键字是表示所述设备的关键字的情况下，从所述显示设备具备的所述多个输入端子之中确定所述设备所连接的所述输入端子，

生成使已确定的所述输入端子活性化的所述切换指令作为所述控制指令。

10.根据权利要求1或权利要求2所述的操作辅助装置，其特征在于，

所述应用软件包括与所述输入端子相关联的第一应用软件、和在所述显示设备中已经安装的第二应用软件，

所述指令生成部在所述文本信息中包括表示所述第二应用软件的关键字的情况下，生成使所述第二应用软件启动的所述启动指令作为所述控制指令。

11.根据权利要求1或权利要求2所述的操作辅助装置，其特征在于，

所述显示设备显示主画面和与主画面相比画面尺寸较小的子画面，

在所述文本信息中包括对在所述主画面中已经显示的第一图像信息、和在所述子画面中已经显示的第二图像信息中的至少一方图像信息进行变更的关键字的情况下，所述指令生成部根据所述关键字生成对所述第一图像信息和所述第二图像信息中的至少一方图像信息进行变更的所述控制指令。

12.一种操作辅助系统，其具备显示设备和辅助所述显示设备的操作的操作辅助装置，所述操作辅助系统的特征在于，

所述操作辅助装置具备：

声音识别部，其将声音数据转换为文本信息；以及

指令生成部，其生成与所述文本信息的内容对应的控制指令，

所述指令生成部在所述文本信息中包括表示应用软件的关键字的情况下，从所述显示设备具备的多个输入端子之中确定与所述应用软件相关联的输入端子，

生成使已确定的所述输入端子活性化的切换指令、和使所述应用软件启动的启动指令作为所述控制指令，

所述显示设备显示通过所述切换指令被活性化的所述输入端子所接收的图像信息。

13.一种操作辅助方法，辅助显示设备的操作，所述操作辅助方法的特征在于，包括：

声音识别步骤，将声音数据转换为文本信息；

指令生成步骤，生成与所述文本信息的内容对应的控制指令；以及

显示步骤，显示图像信息，

所述指令生成步骤包括：

在所述文本信息中包括表示应用软件的关键字的情况下，从所述显示设备具备的多个输入端子之中确定与所述应用软件相关联的输入端子的步骤；以及

生成使已确定的所述输入端子活性化的切换指令和使所述应用软件启动的启动指令作为所述控制指令的步骤，

所述显示步骤包括显示通过所述切换指令被活性化的所述输入端子所接收的图像信息的步骤。