CN106030459B - 多模态信息处理装置 - Google Patents

Abstract

输出信息生成部(3)与来自输入部(1)的信息对应地生成与输出部(5a、5b、…)的种类无关的抽象化输出信息(4)。输出部(5a、5b、…)的意思解释部(54a、54b、…)基于监视自身输出部的工作状况的状况监视部(51a、51b、…)的监视结果，根据抽象化输出信息(4)，生成具体化输出信息(55a、55b、…)。处理执行部(56a、56b、…)进行与具体化输出信息(55a、55b、…)对应的处理。

Description

多模态信息处理装置

技术领域

本发明涉及用于将对多个不同的输出设备或输出器件输出的信息作为统一的信息进行处理的多模态(multimodal)信息处理装置。

背景技术

以往，存在以下方法：在由多种输出设备或输出器件(例如，显示器或语音再现设备等)输出作为同一目地的输出信息的情况下，预先准备每个输出设备或输出器件的输出信息(文本数据和语音数据等)。但是，这样的方法需要预先设想了输出设备或输出器件的种类及其输出信息的形式的设计，当输出设备或输出器件发生变化时，需要重新设计。

因此，为了解决该课题，例如在专利文献1所记载的装置中，具有决定输出器件的单元、和对输出信息的数据形式进行转换的单元，通过转换为输出器件能够处理的数据形式并输出到输出器件，即使不预先考虑多个输出数据的形式，也实现了良好的信息输出系统。

现有技术文献

专利文献

专利文献1:日本特开2001-265370号公报

发明内容

发明所要解决的课题

现如今，伴随输出设备或输出器件的多样化，能够在信息处理装置中利用的输出设备或输出器件增多，并且，在系统构建后还变更的情况增多。

但是，例如在设为专利文献1所示那样的、信息处理装置侧具有决定输出处理装置的单元以及对输出信息的数据形式进行转换的单元的结构的情况下，存在如下课题：每当存在可连接的输出设备或输出器件的变更、或任意的输出设备或输出器件的数据形式的变更时，必须重新对信息处理装置侧进行设计。

此外，构成为在信息处理装置侧生成输出设备或输出器件能够处理的输出数据形式，因此在各输出设备或输出器件进行考虑到当前状况的输出的情况下，信息处理装置需要设计成取得各输出设备或输出器件的状况，并生成与所取得的状况对应的输出信息。因此，存在如下课题：每当变更任意的输出设备或输出器件的动作时，需要对信息处理装置侧重新进行设计。

本发明正是为了解决上述那样的课题而完成的，其目的在于，得到一种即使在变更了与信息处理装置连接的输出设备或输出器件的情况下，也不需要对信息处理装置侧进行变更的多模态信息处理装置。

用于解决课题的手段

本发明的多模态信息处理装置的输出部根据输入信息来进行处理，在该多模态信息处理装置中，具有输出信息生成部，所述输出信息生成部与输入信息对应地生成与输出部的种类无关的抽象化输出信息，输出部具有：状况监视部，其监视自身输出部的工作状况；意思解释部，其基于状况监视部的监视结果，根据抽象化输出信息，生成具体化信息；以及处理执行部，其进行与具体化信息对应的处理。

发明效果

本发明的多模态信息处理装置使得与输入信息对应地生成与输出部的种类无关的抽象化输出信息，输出部基于自身输出部的工作状况的监视结果，根据抽象化输出信息生成具体化信息来进行对应的处理，因此即使在变更了与信息处理装置连接的输出设备或输出器件的情况下，也不需要对信息处理装置侧进行变更。

附图说明

图1是示出本发明实施方式1的多模态信息处理装置的结构图。

图2是示出本发明实施方式1的多模态信息处理装置的动作的流程图。

图3是示出本发明实施方式1的多模态信息处理装置的生成抽象化输出信息的处理的说明图。

图4是示出本发明实施方式1的多模态信息处理装置的生成具体化输出信息的处理的说明图。

图5是示出本发明实施方式1的多模态信息处理装置的连接有多个输出部的情况下的处理的说明图。

图6是示出本发明实施方式2的多模态信息处理装置的结构图。

图7是示出本发明实施方式2的多模态信息处理装置的动作的流程图。

具体实施方式

以下，为了更详细地说明本发明，按照附图说明用于实施本发明的方式。

实施方式1.

图1是示出本发明实施方式1的多模态信息处理装置的结构图。

图1所示的多模态信息处理装置具有输入部1、输出信息生成部3和输出部5a、5b、…。输入部1是受理用户的输入以及来自设备的输入的处理部，由多个输入单元1a、1b、1c、…构成。这些输入单元1a、1b、1c、…是取得用户的输入信息的单元或取得来自设备的信息的单元，各自的输出作为输入信息2a、2b、2c、…被输出到输出信息生成部3。

输出信息生成部3是信息处理装置中的生成输出信息的处理部，该输出信息生成部3根据输入信息2a、2b、2c、…，生成不依存于输出部5a、5b、…的输出信息，并作为抽象化输出信息4而输出，输出信息生成部3具有输入信息整合部31、抽象化输出信息的输出规格33、和抽象化输出信息生成部34。输入信息整合部31是如下的处理部：对从输入部1输入的1个以上的输入信息2a、2b、2c、…进行解释，并作为抽象化输入信息32而输出，该抽象化输入信息32是不依存于输入单元1a、1b、1c、…的输入信息。此外，抽象化输出信息的输出规格33是记述有表示抽象化输入信息32与抽象化输出信息4之间的关系的信息的数据库。此外，抽象化输出信息生成部34是如下的处理部：参照抽象化输出信息的输出规格33，根据抽象化输入信息32，生成抽象化输出信息4。

输出部5a、5b、…是根据抽象化输出信息4生成能够处理的输出信息并执行的输出设备或输出器件，分别具有状况监视部51a、51b、…、解释规格53a、53b、…、意思解释部54a、54b、…、处理执行部56a、56b、…。另外，这里，输出器件是指后述的语音输出器或显示器这样的结构要素比较少的器件、或作为构成输出设备的要素的器件，输出设备是指例如空调这样的结构要素比较多的设备或器件的集合体这样的设备。

状况监视部51a、51b、…监视各自的输出部5a、5b、…的工作状况，并作为状况信息52a、52b、…输出。解释规格53a、53b、…是记述有抽象化输出信息4和状况信息52a、52b、…的解释方法的数据库。意思解释部54a、54b、…是如下的处理部：根据抽象化输出信息4、状况信息52a、52b、…和解释规格53a、53b、…，生成作为输出设备或输出器件能够处理的输出信息的具体化输出信息55a、55b、…。处理执行部56a、56b、…是作为输出设备或输出器件来执行实际的处理的处理部。

在上述输入部1中，各输入单元1a、1b、1c、…取得的输入信息2a、2b、2c、…是硬件密钥(hardware key)的输入信号或鼠标的坐标信息、语音识别的文本数据或所输入的语音信号、姿势识别(gesture recognition)的解释结果或所输入的图像信号、其它设备的动作完成信号等，只要是包含处理能够利用的信息的形式，则可以是任何信息。

输出信息生成部3的输入信息整合部31所生成的抽象化输入信息32是数值数据、文本数据、二进制数据、比特数据、或将这些数据组合得到的数据等，只要是抽象化输出信息生成部34能够不依存于输入单元1a、1b、1c、…而能够解释的信息或数据形式，则可以是任何信息。

输出信息生成部3的抽象化输出信息的输出规格33是用于根据抽象化输入信息32生成抽象化输出信息4的信息，可以由抽象化输出信息生成部34解释为用制表符分隔的文本或XML等标记语言记述的外部定义文件/数据库，也可以编码为抽象化输出信息生成部34的处理用程序，只要是能够对抽象化输入信息32和抽象化输出信息4进行关联的形式，则可以是任何信息。

输出信息生成部3的抽象化输出信息生成部34生成的抽象化输出信息4是数值数据、文本数据、二进制数据、比特数据、或将这些数据组合后的数据等，只要是抽象化输出信息生成部34能够作为不依存于输出部5a、5b、…的输出信息而生成的信息或数据形式，则可以是任何信息。

输出部5a、5b、…的状况监视部51a、51b、…输出的状况信息52a、52b、…是电源的状态信息或动作中的任务信息、已完成的任务信息等与输出设备或输出器件自身的状态相关的信息即可，也可以是输出设备或输出器件周边的气温、湿度、噪音状况等与周边环境相关的信息。

输出部5a、5b、…的解释规格53a、53b、…是用于根据抽象化输出信息4和状况信息52a、52b、…生成具体化输出信息55a、55b、…的信息，可以由意思解释部54a、54b、…解释为用制表符分隔的文本或XML等标记语言记述的外部定义文件/数据库，也可以编码为意思解释部54a、54b、…的处理用程序，只要是能够对抽象化输出信息4以及状况信息52a、52b、…与意思解释部54a、54b、…进行关联的形式，则可以是任何信息。

输出部5a、5b、…的意思解释部54a、54b、…生成的具体化输出信息55a、55b、…是在输出设备或输出器件进行处理的基础上能够唯一解释的信息，只要是语音信号、图像数据或控制信号等与输出设备或输出器件对应的信息即可。

另外，输入部1、输出信息生成部3和输出部5a、5b、…也可以存在于同一硬件上，此外，也可以以具有通信的手段的方式进行双向或单向连接。

接着，对实施方式1的多模态信息处理装置的动作进行说明。

图2是示出实施方式1的多模态信息处理装置的动作的流程图。

通过输入部1，受理从1个以上的输入单元1a、1b、1c、…朝向多模态信息处理装置的输入信息2a、2b、2c、…，并输出到输出信息生成部3(步骤ST1)。向输入单元1a、1b、1c、…的输入也可以是键盘输入或鼠标输入等来自用户的直接的输入，或者语音识别或手势识别等伴随对用户行动的解释的输入，此外，还可以是来自其它系统或装置的输入。

在接下来的步骤ST2中，输出信息生成部3的输入信息整合部31根据从输入部1输入的1个以上的输入信息2a、2b、2c、…，对输入的意图进行解释，生成不依存于输入单元1a、1b、1c、…的抽象化后的输入信息即抽象化输入信息32，并输出到抽象化输出信息生成部34。

对于步骤ST2的输入信息整合部31的动作，例如能够使用日本特开平11-24813号公报所记载的方法。在该文献的一例中，记载了根据语料库数据将输入信息转换为普遍化的指令脚本的方法，除此以外，可以使用根据1个以上的输入信息得到1个输入结果的公知的方法。

此外，可以从规定的输入器件直接输入不依存于输入单元的能够解释的抽象化输入信息32，该情况下，输出信息生成部3由抽象化输出信息的输出规格33和抽象化输出信息生成部34构成即可。

在接下来的步骤ST3中，抽象化输出信息生成部34参照抽象化输出信息的输出规格33，根据抽象化输入信息32，生成抽象化输出信息4，并输出到输出部5a、5b、…。

图3是示出输出信息生成部3的生成抽象化输出信息4的处理的说明图。

将图3所例示的抽象化输入信息32和抽象化输出信息4设为由表示信息的对象的“宾语”、表示信息的动作的“谓语”、和表示信息的可变值的“值”构成的信息。

图3是从多个输入单元(语音识别、动作识别、控制器)输入了输入信息2a、2b、2c、…的情况下的例子。此外，如之后使用图4叙述的那样，图3的例子是将输出部5a、5b、…设为空调，并进行其控制的情况。

在输入信息整合部31中，进行从输入信息2a、2b、2c、…向抽象化输入信息32的转换。对用户的“热”这样的话语进行了语音识别而得到的输入信息、和动作识别是识别出用户的“扇”这样的动作的输入信息被转换为作为同一抽象化输入信息32的宾语“房间的温度”、值“热”。此外，在用控制器直接输入了“制冷开启”的信号的情况下，转换为宾语“制冷”、谓语“开启”这样的抽象化输入信息。

抽象化输出信息的输出规格33是对抽象化输入信息32和抽象化输出信息4进行关联的数据库，因此抽象化输出信息生成部34参照抽象化输出信息的输出规格33，生成对应的抽象化输出信息4。在示例中示出了：任意的抽象化输入信息32均是进行相同处理的输出规格，被转换为宾语“房间的温度”、谓语“降低”这样的抽象化输出信息4。

另外，在图3的例子中，用“宾语”、“谓语”、“值”这样的按照作用区分的3个信息对抽象化输入信息32和抽象化输出信息4进行了表现，但也可以用单一的信息表现，还可以包含输入器件或输出器件、可靠度等其他信息。此外，抽象化输入信息32和抽象化输出信息4可以是不同的形式。此外，在图3的例子中，将抽象化输出信息的输出规格33设为了将抽象化输入信息32和抽象化输出信息4成对地关联起来的信息，但也可以是能够根据状态转变等连续的输入信息，生成输出信息的信息。

到此为止是对图2的步骤ST3中的输出信息生成部3生成抽象化输出信息4的处理的说明。

抽象化输入信息32可以不从输入单元1a、1b、1c、…输入，而例如设为通过每隔规定时间受理到固定的抽象化输入信息32等，而由输出信息生成部3自身产生。该情况下，多模态信息处理装置由输出信息生成部3和输出部5a、5b、…构成，输出信息生成部3由抽象化输出信息的输出规格33和抽象化输出信息生成部34构成即可。

在接下来的步骤ST4中，各输出部5a、5b、…的状况监视部51a、51b、…取得各输出部5a、5b、…的当前的状况，并作为状况信息52a、52b、…输出到意思解释部54a、54b、…。另外以下，针对各输出部5a、5b、…共同的动作，作为输出部5中的状况监视部51、状况信息52、解释规格53、意思解释部54、具体化输出信息55、处理执行部56来进行说明。

对于状况信息52，可以取得输出设备或输出器件的电源、工作任务等内部状态，可以利用温度传感器、风力计、噪声计等各种传感器来取得与输出设备或输出器件的周边环境相关的信息，只要将它们组合1个以上即可。

在接下来的步骤ST5中，输出部5的意思解释部54参照解释规格53，根据从输出信息生成部3输入的抽象化输出信息4、以及从状况监视部51输入的状况信息52，生成输出设备或输出器件能够执行的输出信息，并作为具体化输出信息55输出到处理执行部56。

图4是示出意思解释部54的生成具体化输出信息55的处理的说明图。

图4所例示的解释规格53用于表现能够设定与状态信息52和抽象化输出信息4对应的具体化输出信息55的状态转变。

图4是如下情况的例子：向作为输出部5的空调输入降低房间温度的抽象化输出信息4，空调是待机状态，室温为36度这样的状况信息52被输入到了意思解释部54。意思解释部54根据解释规格53的状态转变，接收抽象化输出信息4(宾语“房间的温度”、谓语“降低”)，从“待机状态”成为“风速设定状态”。进而，接收到室温36度这一状况信息52，而成为输出“以强风进行制冷起动”的状态，并将表示“以强风进行制冷起动”的信号作为具体化输出信息55输出到处理执行部56。

此外，在图4的例子中，将解释规格53表现为状态转变，该状态转变是能够根据连续的输入信息生成输出信息的信息，但也可以是其他表现方法，可以是将抽象化输出信息4和具体化输出信息55成对地关联起来的信息。

到此为止是对图2的步骤ST5中的意思解释部54生成具体化输出信息55的处理的说明。

另外，意思解释部54可以构成为不被输入状况信息52而被输入用户信息。这里，用户信息可以是ID等表示特定的用户的信息，此外，也可以表示男/女或热/冷等组的信息，还可以是强风多/弱风多等直接表示动作种类的信息。

该情况下，解释规格53用于表现能够设定与用户信息和抽象化输出信息4对应的具体化输出信息55的状态转变，意思解释部54能够通过生成与抽象化输出信息4和用户信息对应的具体化输出信息55，实现与使用的用户对应的动作和功能。

此外，意思解释部54可以构成为输入状况信息52和用户信息，该情况下，解释规格53用于表现能够设定与状况信息52、用户信息以及抽象化输出信息4对应的具体化输出信息55的状态转变，意思解释部54能够通过生成与抽象化输出信息4、状况信息52以及用户信息对应的具体化输出信息55，来实现与使用的用户和状况对应的动作和功能。

例如，意思解释部54输入状况信息52和用户信息的情况下的动作的一例如下所述。即，在向作为输出部5的空调输入表示降低房间温度的意思的抽象化输出信息4，空调是待机状态，且将室温为36度这样的状况信息52、和在高温时喜欢强风这样的用户信息输入到了意思解释部54的情况下的例子中，意思解释部54根据解释规格53的状态转变，接收抽象化输出信息4(宾语“房间的温度”、谓语“降低”)，从“待机状态”成为“风速设定状态”。进而，接收室温36度这样的状况信息52、和在高温时喜欢强风这样的用户信息，而成为输出“以强风进行制冷起动”的状态，并将表示“以强风进行制冷起动”的信号作为具体化输出信息55输出到处理执行部56。

此外，意思解释部54可以被输入其它输出部5的状况信息52，如果这样构成，则能够实现与其它输出部5对应的动作和功能。例如，在设定设备的坐标并显示在显示器上的情况下，能够进行如下等联动的操作：接收意指设定坐标的1个抽象化输出信息4，而在设定坐标的操作设备完成坐标设定时，输出完成信息作为状况信息52，显示器在接收到来自操作设备的完成信息后，显示坐标。

另外，意思解释部54可以仅对用解释规格53进行了定义的抽象化输出信息4进行处理。

在接下来的步骤ST6中，各输出部5的处理执行部56根据从意思解释部54输入的具体化输出信息55，执行作为输出部5的动作。

图5是示出连接有多个输出部5a、5b、5c、…的情况下的处理的说明图。

图5所例示的输出部5a、5b、5c、…由进行不同方式的输出的输出器件1(语音输出器)、输出器件2(显示器)、输出设备(空调)构成。

图5是从输出信息生成部3输出了表示降低房间温度的意思的抽象化输出信息4的情况下的例子。向各输出部5a、5b、5c、…的意思解释部54a、54b、54c、…输入同一抽象化输出信息4，进行与各输出部5a、5b、5c、…的状况信息52a、52b、52c、…以及解释规格53a、53b、53c、…对应的输出。

输出部5a(输出器件1(语音输出器))监视设备的语音再现状态，并设为状况信息52a。意思解释部54a生成“开启制冷”这样的语音数据并设为具体化输出信息55a，但如果设备的状态是正在输出另一语音，则以在结束后进行语音输出的方式，输出具体化输出信息55a。此外，如果是紧急度高的广播，则还能够对解释规格53a进行设计和处理，以使得中断当前的输出来输出广播。

输出部5b(输出器件2(显示器))根据同一抽象化输出信息4，生成与输出器件1不同的“制冷设定”这一文本，作为具体化输出信息55b并输出。

输出部5c(输出设备(空调))监视房间的温度，并设为状况信息52c。

意思解释部54c输出具体化输出信息55c，使得根据同一抽象化输出信息4开启制冷，但依照解释规格53c，在房间的温度急速上升的状况下，输出具体化输出信息55c，使得以强风进行制冷，在房间的温度没怎么观察到变化的状况下，输出具体化输出信息55c，使得以弱风进行制冷。

如上所述，示出了如下情况：根据同一抽象化输出信息4，生成与各输出部5a、5b、5c、…的状况以及解释规格53a、53b、53c、…对应的具体化输出信息55a、55b、55c、…。

到此为止是对图5的连接有多个输出部5a、5b、5c、…的情况下的处理的说明。

如以上所说明的那样，根据实施方式1的多模态信息处理装置，在输出部根据输入信息进行处理的多模态信息处理装置中，具有与输入信息对应地生成与输出部的种类无关的抽象化输出信息的输出信息生成部，并且输出部具有：监视自身输出部的工作状况的状况监视部；基于状况监视部的监视结果，根据抽象化输出信息生成具体化信息的意思解释部；以及进行与具体化信息对应的处理的处理执行部，因此即使在变更了与信息处理装置连接的输出设备或输出器件的情况下，也不需要对信息处理装置侧进行变更。

此外，在实施方式1的多模态信息处理装置中构成为，输出信息生成部根据抽象化输入信息，生成不依存于输出设备和输出器件的抽象化输出信息，在各输出设备或输出器件中，根据状况信息，生成各输出设备或输出器件能够执行的具体化输出信息并执行。由此，与在输出信息生成部生成具体化输出信息的情况下，需要设计考虑到全部输出设备和/或输出器件的状况的输出信息生成部相比，具有以下效果：输出信息生成部可以不考虑各输出设备和/或输出器件的状况和动作，能够简化设计和控制。

此外，具有以下效果：即使在变更了连接的输出设备和/或输出器件、变更了输出设备和/或输出器件的动作、或者输出设备和/或输出器件的设置场所移动而变更了要考虑的状况的情况下，也不需要变更输出信息生成部，能够容易地变更输出设备和/或输出器件。

此外，由于构成为输出信息生成部不依存于输出设备和/或输出器件的种类而输出同一抽象化输出信息，因此具有以下效果：输出信息生成部不需要保存输出目的地的设备和/或器件的信息，能够省略选择作为输出目的地的设备和/或器件的处理。

此外，在各输出设备和/或输出器件中，通过使得仅对定义了具体化输出信息的生成方法的抽象化输出信息进行处理，具有以下效果：输出设备和/或输出器件不需要定义针对全部抽象化输出信息的处理，能够简化设计。

此外，根据实施方式1的多模态信息处理装置，输出部具有表示抽象化输出信息与具体化信息之间的关系的解释规格，意思解释部参照解释规格，对抽象化输出信息进行解释来生成具体化信息，因此与预先规定了与特定的输出信号对应的动作的情况相比，具有能够根据同一输出信息实现不同的动作和功能的效果。

此外，根据实施方式1的多模态信息处理装置，意思解释部包含使用输出部的用户的与输出部的工作状况相关的信息来进行解释，因此具有以下效果：能够实现与使用输出设备和/或输出器件的用户对应的动作和功能。

此外，根据实施方式1的多模态信息处理装置，意思解释部基于来自与自身输出部不同的输出部的状况监视部的监视结果来进行解释，因此能够根据同一抽象化输出信息，实现多个输出设备和/或输出器件联动的动作和功能。

此外，根据实施方式1的多模态信息处理装置，输出信息生成部具有生成与输入信息的种类无关的抽象化输入信息的输入信息整合部，并基于抽象化输入信息，生成抽象化输出信息，因此不论是哪种输入信息，都能够进行应对。

实施方式2.

在上述实施方式1中，各输出部根据输出信息生成部所输出的抽象化输出信息来进行处理，但接下来，将通过输出信息生成部取得输出部的状况来进行与输出部联动的输出信息生成处理的例子作为实施方式2来进行说明。

图6是实施方式2中的多模态信息处理装置的结构图。

如图所示，多模态信息处理装置由输入部1、输出信息生成部30和1个以上的输出部5a、5b、…构成。这里，输入部1与实施方式1相同。此外，输出信息生成部30中的输入信息整合部31以及所生成的抽象化输入信息32与实施方式1相同，因此省略这里的说明。

输出信息生成部30的抽象化输出信息生成部340构成为与抽象化输入信息32一同接收从输出部5a、5b、…的状况监视部51a输出的抽象化状况信息57，并根据抽象化输出信息的输出规格330，生成抽象化输出信息40。抽象化输出信息的输出规格330是除了实施方式1的抽象化输入信息32以外还包含抽象化状况信息57，并表示这些信息与抽象化输出信息40之间的关系的数据库。

输出部5a、5b、…的基本结构与实施方式1相同，具有状况监视部51a、51b、…、解释规格53a、53b、…、意思解释部54a、54b、…、处理执行部56。另一方面，在实施方式2中，构成为从状况监视部51a、51b、…输出抽象化状况信息57，在图6所示的例子中，构成为从输出部5a的状况监视部51a输出抽象化状况信息57。

接着，对实施方式2的多模态信息处理装置的动作进行说明。

图7是示出实施方式2中的多模态信息处理装置的动作的流程图。这里，步骤ST2以前是与实施方式1中的图2的流程图相同的动作，因此省略这里的说明。

在步骤ST2中输入信息整合部31生成了抽象化输入信息32后，抽象化输出信息生成部340参照抽象化输出信息的输出规格330，根据抽象化输入信息32和抽象化状况信息57，生成抽象化输出信息40，并输出到输出部5a、5b、…(步骤ST7)。其他动作与实施方式1的步骤ST3相同。

这里，抽象化状况信息57是以与抽象化输入信息32相同的形式记述的信息，同样地进行处理。例如，是以下那样的记述。

·将电源变更为了接通这一状况

宾语：设备电源状况

谓语：开启

值：设备名称

·已完成的任务的信息

宾语：任务

谓语：完成

值：任务名称

由此，对抽象化输出信息生成部34a的内部信息进行变更，对针对之后的输入的动作进行变更。例如，进行如下那样的动作变更。

例1)仅在设备A的电源为接通的情况下，根据之后的抽象化输入信息32，输出设备A和其他设备协作的抽象化输出信息40。

例2)接收设备A的电源变为了接通这一抽象化状况信息57，而输出将设备B的电源设为接通这一抽象化输出信息40。

在接下来的步骤ST8中，各输出部5a、5b、…的状况监视部51a、51b、…取得输出部5a、5b、…的当前的状况，并作为状况信息52a、52b、…输出到意思解释部54a、54b、…。另外，该处理与实施方式1中的步骤ST4的动作相同。此外，在实施方式2中，将状况信息52a转换为与抽象化输入信息32相同形式的不依存于输出部5a、5b、…的抽象化信息，并作为抽象化状况信息57输出到抽象化输出信息生成部34a。

步骤ST5和步骤ST6是与实施方式1中的图2的流程图相同的动作，因此省略这里的说明。

另外，在上述例子中，构成为了输出部5a、5b、…生成抽象化状况信息57，并输入到抽象化输出信息生成部340，但也可以是向输入信息整合部31输入状况信息52a、52b、…，并作为输入信息整合部31的输入信息2a、2b、2c、…进行处理。

此外，在上述例子中，抽象化状况信息57从一个输出部5a输出，但也可以从多个输出部5a、5b、…输出。该情况下，抽象化输出信息生成部340根据多个抽象化状况信息57，生成一个或多个抽象化输出信息40。或者，抽象化输出信息生成部340也可以根据一个抽象化状况信息57，生成多个抽象化输出信息40。

如以上所说明那样，根据实施方式2的多模态信息处理装置，输出信息生成部根据来自输出部的状况监视部的监视结果，生成抽象化输出信息，因此具有以下效果：输出信息生成部能够生成考虑到输出部的状况的抽象化输出信息。

此外，根据实施方式2的多模态信息处理装置，输出信息生成部具有输入信息整合部，该输入信息整合部将来自输出部的状况监视部的监视结果作为输入来生成以与抽象化输入信息相同的形式记述的抽象化状况信息，该输出信息生成部根据抽象化输入信息和抽象化状况信息，生成抽象化输出信息，因此不论是来自哪种状况监视部的监视结果，都能够进行应对。

另外，本申请发明在本发明的范围内，能够实现各实施方式的自由组合、各实施方式的任意结构要素的变形、或各实施方式中的任意结构要素的省略。

产业上的可利用性

本发明的多模态信息处理装置与输入信息对应地生成与输出部的种类无关的抽象化输出信息，输出部基于自身输出部的工作状况的监视结果，根据抽象化输出信息生成具体化信息来进行对应的处理，因此即使在变更了与信息处理装置连接的输出设备和/或输出器件的情况下，也不需要对信息处理装置侧进行变更，适合在多个不同的输出设备和/或输出器件输出信息的信息输出系统中使用。

标号说明

1：输入部；1a、1b、1c：输入单元；2a、2b、2c：输入信息；3、30：输出信息生成部；31：输入信息整合部；32：抽象化输入信息；33、330：抽象化输出信息的输出规格；34、340：抽象化输出信息生成部；4、40：抽象化输出信息；5a、5b、5c：输出部；51a、51b：状况监视部；52a、52b：状况信息；53a、53b：解释规格；54a、54b：意思解释部；55a、55b：具体化输出信息；56a、56b：处理执行部。

Claims (6)

1.一种多模态信息处理装置，其中，输出部根据输入信息来进行处理，该多模态信息处理装置的特征在于，

所述多模态信息处理装置具有：

输出信息生成部，所述输出信息生成部与所述输入信息对应地生成不依存于所述输出部的种类的抽象化输出信息，并输出到所述输出部，

所述输出部具有：

状况监视部，其监视自身输出部的工作状况，输出状况信息；

意思解释部，其根据所述抽象化输出信息、所述状况信息，生成与所述输出部对应的，且所述输出部能够执行的具体化信息；以及

处理执行部，其进行与所述具体化信息对应的处理；

其中，

所述输出部具有表示所述抽象化输出信息与所述具体化信息之间的关系的解释规格，所述意思解释部参照所述解释规格，对所述抽象化输出信息进行解释来生成所述具体化信息。

2.根据权利要求1所述的多模态信息处理装置，其特征在于，

所述意思解释部考虑使用所述输出部的用户的与该输出部的工作状况相关的信息来进行解释。

3.根据权利要求1所述的多模态信息处理装置，其特征在于，

所述意思解释部根据来自自身输出部之外的输出部的状况监视部的监视结果来进行解释。

4.根据权利要求1所述的多模态信息处理装置，其特征在于，

所述输出信息生成部根据来自所述输出部的状况监视部的监视结果，生成所述抽象化输出信息。

5.根据权利要求1所述的多模态信息处理装置，其特征在于，

所述输出信息生成部具有生成不依存于所述输入信息的种类的抽象化输入信息的输入信息整合部，并且所述输出信息生成部根据该抽象化输入信息，生成所述抽象化输出信息。

6.根据权利要求5所述的多模态信息处理装置，其特征在于，

所述输入信息整合部将来自所述输出部的状况监视部的监视结果作为输入来生成以与所述抽象化输入信息相同的形式记述的抽象化状况信息，并且，所述输出信息生成部根据所述抽象化输入信息和所述抽象化状况信息，生成所述抽象化输出信息。