CN109154800A - 用于基于媒体文件来控制器具的方法和控制设备、计算机程序产品和建筑自动化系统 - Google Patents

Abstract

本发明涉及用于通过使用控制设备来控制合并在系统中的至少一个器具的方法，其包括步骤：由用户或由系统选择和/或检索媒体文件，分析媒体文件并从媒体文件提取该控制相关的信息，基于从媒体文件提取的信息来将控制命令发送到至少一个器具。

Description

用于基于媒体文件来控制器具的方法和控制设备、计算机程 序产品和建筑自动化系统

技术领域

本发明涉及根据独立权利要求的前序部分的用于基于媒体文件来控制合并到系统内的器具的方法和控制设备、用于评估媒体文件的计算机程序产品和建筑自动化系统。

背景技术

从现有技术中已知，基于在器具上重放的并包含额外信息的视频文件来开启所连接的器具和/或激活在所连接的器具上的相应的预设程序。

这些系统的一个缺点是，视频文件已经必须被提供有必要的额外信息且待控制的器具必须已经包含控制运行所需的程序数据。因此，使用这样的视频或使用相应的器具只能够发起相应地预定义的程序。

发明内容

本发明的目的是克服现有技术的缺点。特别地，意图提供能够基于任何期望的媒体文件来尽可能灵活地控制器具的方法、控制设备、计算机程序产品和建筑自动化系统。

该目的由在独立专利权利要求中定义的方法和设备实现。从从属专利权利要求中，另外的实施方式变得明显。

在下面的描述中，术语“系统”被理解为意指任何类型的电子网络，其中在系统的元件之间的数据传送、特别是数据交换变得可能。该数据传送或数据交换可经由有线连接、光纤连接、光学地(例如红外线地)、经由无线电或通过PLC而发生。举例来说，这样的网络可以是将各种器具彼此联网并允许它们以集中和分散的方式被控制的建筑自动化系统。

媒体文件被理解为意指例如不一定被提供有对器具的特定控制数据的视频、播客、直播流、一系列图片等。

用于使用控制设备来控制合并到系统、特别是建筑自动化系统内的至少一个器具的根据本发明的方法包括下列步骤：

-由用户或由系统选择和/或检索媒体文件，

-分析媒体文件并从媒体文件提取控制相关的信息，

-基于从媒体文件提取的信息来将控制命令发送到至少一个器具。

在该上下文中，媒体文件的分析被理解为意指媒体文件的上下文被自动识别且媒体文件的内容相应地被评估。举例来说，这样的分析用于识别在蛋糕食谱的视频指南中的关于烤箱温度的口语信息，且该信息从媒体文件被提取。然后可进一步使用以这种方式获得的信息。语音识别算法、图像识别算法、手势和面部表情识别算法和/或另外的已知算法用于分析。

控制相关的信息取决于媒体文件的内容和待控制的器具。举例来说，与从用于安装Sonos扬声器的指南或从在建筑物中的被引导的安装相比，从用于烘焙蛋糕的食谱提取不同的信息，在该建筑物中，各种控制元件(例如调光器和灯)按顺序被正确地安装并闪光以便测试系统，和/或按钮必须被按下以便确认和/或测试安装。

这样的方法使例如用户可以在互联网上或从他的私人存储器检索媒体文件并使用该媒体文件来直接启动他的例如合并在建筑自动化系统中的器具变得可能。用户因此不再必须亲自输入在建筑自动化系统中的控制所需的数据，而是，所述数据从媒体文件被自动提取且相应的器具被启动。举例来说，因此评估用于烘焙蛋糕的食谱，在烤箱中设置烘焙所需的温度，自动激活和面机的搅拌器且将在烤箱中的定时器设置到烘焙所需的相应烘焙时间。用户仅需要将原料添加到和面机，将准备的生面团放置到烘焙模具内并将烘焙模具插入烤箱中。当将生面团插入到烤箱内并关闭烤箱门时，定时器可自动开始。当然，更少或进一步的部分自动化在这里也是可能的。

器具可以给控制设备反馈，其特别地包含关于器具的状态的信息。因此例如在上面所述的例子中，和面机可向控制设备报告回何时生面团被充分揉捏以及均匀块相应地产生。这样的反馈可例如控制媒体文件的进一步运行。在蛋糕食谱的情况下，可指示用户将生面团放置到相应的烘焙模具内并将包含生面团的烘焙模具插入烤箱内。同样可想到，来自烤箱的这样的反馈包括例如生面团现在在烤箱中的事实。这样的反馈可由器具中的相应的传感器触发。这样的反馈的使用允许从媒体文件提取的相应信息被有效地处理。

控制媒体文件的运行可包括下面步骤的一个或组合：

-停止该运行，

-将该运行向前跳到特定的点，

-将该运行向后跳到特定的点，

-中断该运行，

-继续该运行，

-选择和/或检索另一媒体文件。

通过影响媒体文件的运行，可例如确保在用户处被指示且未被执行的指令以指令的形式重复地输出到用户。同样，在上面提到的例子中，当在将生面团插入到烤箱内之后关闭烤箱门时，必须中断媒体文件的运行，直到相应的烘焙时间过去为止。然而，此外还可想到，基于这样的反馈来选择和/或检索另一媒体文件而用户不需要为了这个目的而激活另外的动作。因此，系统可识别出例如用户不根据指令来动作，并提供另外的解释媒体文件。

媒体文件的分析可实时地发生。在视频的情况下，因此用户可以观看视频且相应的分析在后台实时地被执行。如前面提到的，在视频中例如解释烤箱必须被设置在200度。该信息被评估并直接传输到烤箱。作为替换，然而也可想到，媒体文件的分析独立于媒体文件的运行而发生。独立于运行的这样的分析使例如在视频的情况下所述视频在运行之前和/或期间已经完全被分析变得可能，使得可能的跳过位置已经在需要的情况下被识别出。

为了分析媒体文件并提取信息，可评估来自媒体文件的音频数据和/或视频数据和/或文本数据和/或额外信息，例如元数据、标签、关键字等。特别地，评估附加到媒体文件的声音、视觉和还有额外信息因此变得可能。

可借助于系统、特别是建筑自动化系统来将控制命令发送到至少一个器具。因此，控制设备不必直接连接或能够直接连接到待控制的器具，而是仅仅必须能够与它的相关系统通信。待控制的至少一个器具已经合并到该系统内，结果是启动明显被简化。

本发明的另一方面涉及用于评估媒体文件的计算机程序产品。用于建筑自动化的根据本发明的计算机程序产品当它在计算机上执行时按顺序从媒体文件提取信息，基于该所提取的信息而能够控制在系统中、特别是在建筑自动化系统中的至少一个器具。

计算机程序产品在这里被理解为例如意指在智能电话、平板计算机、笔记本电脑等上的应用程序。计算机在这种情况下相应地被理解为也是智能电话、平板计算机、笔记本电脑、PC或云服务。因此可想到，计算机程序产品将不在用户的器具上执行，但相应的媒体文件例如经由在云服务中的互联网连接被加载且相应的信息在那里被提取。用于控制至少一个器具的所提取的信息可接着再次经由互联网被提供到用户或系统。

为了提取信息，可评估来自媒体文件的音频数据和/或视频数据和/或文本数据和/或额外信息。再次，媒体文件在听觉上、视觉上以及也在它的额外信息(例如元数据、标签、关键字等)的基础上被评估因此变得可能。

用于特别是如前面概述的方法的控制合并到系统内、特别是建筑自动化系统内的至少一个器具的根据本发明的控制设备包括媒体数据接口、用于使用户选择和/或检索媒体文件的操作员元件、用于显示所选择的媒体文件的显示单元、用于分析和提取来自媒体文件的控制信息的特别是具有如前所述的计算机程序产品的分析单元、以及至系统、特别是建筑自动化系统的接口。控制设备在这种情况下被理解为意指例如智能电话、平板计算机、笔记本电脑、PC或以任何期望形式的计算机以及网络附加存储器(NAS)、路由器或服务器。同样，控制设备也被理解为意指机顶盒，例如d-box、Dreambox、Mediabox、ReelBox、TiVo-PVR、AppleTV、Met@box等，或视频游戏控制台，例如SNES、PlayStation、Xbox等。操作员元件、显示单元和分析单元不一定必须集成在控制设备中，但可以例如以有线和/或无线方式借助于相应的连接元件来连接到控制设备。

媒体数据接口例如由至视频自动点唱机、至媒体播放器、至存储器、至云服务的连接或至互联网的连接构成。媒体数据接口明确地被理解为不仅意指以插头连接的形式或以无线连接的形式的物理接口，而且意指任何数据获取装置，特别是摄像机。该接口允许对所选择和/或检索的媒体文件的访问。摄像机例如允许用户拍摄来自书的常规食谱并将它提供到控制设备用于分析。

分析单元被理解为意指在控制设备上或(如果需要)在控制设备的特殊芯片上运行的应用程序或程序代码。媒体文件的分析也可在云服务中发生。云服务的该部分因此将是分析单元，其在本发明的意义内能够借助于控制设备的连接装置被合并。

术语“至系统的接口”也应不一定被考虑为物理接口。在这种情况下，无线连接或否则经由互联网或云服务至系统的连接也再次是可想到的。

这样的控制设备能够例如显示由用户选择的视频文件并同时和/或预先分析它以得到可用于控制连接到系统或合并到该系统内的器具的信息。

至系统的接口可以被单向或双向地配置。在双向配置的情况下，例如待控制的器具可以将例如关于它的状态的反馈报告回到控制设备。因此，控制设备可例如停止、中断或继续媒体文件的重放，向前或向后跳到特定的点或否则检索另一媒体文件。

媒体数据接口可包括至互联网的连接。因此，用户也可从互联网、从云服务或从流媒体服务选择和/或检索媒体文件。

根据本发明的建筑自动化系统包括如前面概述的计算机程序产品和/或如前面所述的控制设备。这样的建筑自动化系统特别地使合并到建筑自动化系统内的某些器具根据从媒体文件提取的信息由控制设备或由如所述的计算机程序产品控制变得可能。

具体实施方式

下面参考流程图更详细地解释了本发明的一个可能的示例性实施方式。

所示出的是参考使用待烘焙的蛋糕的例子的流程图的根据本发明的方法。在第一步骤1中，用户选择在步骤中解释如何烘焙蛋糕的媒体文件。为此目的，用户告诉控制设备他想要烘焙蛋糕以及他想要烘焙什么类型的蛋糕。这可例如借助于语音输入来执行。控制设备然后经由媒体接口搜索相应的食谱。然而，还可想到，用户经由键盘以常规方式输入该信息或将相应的媒体文件直接提供到控制设备。此外，用户也可例如通过将食谱的照片提供到控制设备从食谱书输入他的输入。

在步骤2中，控制设备将使用它的分析单元来分析媒体文件并从媒体文件提取控制器具(例如烤箱、和面机和秤)所需的信息。诸如文本识别、图像识别、语音识别、手势识别、面部表情识别等的各种算法用于该分析步骤。

在步骤3中，媒体文件的运行开始。在以指令视频的形式的媒体文件的情况下，在显示单元上显示并开始视频。由用户执行的任务一旦产生或器具一旦被启动并需要执行任务，媒体文件或视频的运行就被中断。在蛋糕的例子中，单独的原料被列出且用户被请求将碗放在秤上并将适当数量的所需原料添加到碗。

在步骤4中，控制设备接着将命令发送到烤箱，以便将它预热到所需温度。

在步骤5中，所需任务由用户或由器具执行，且存在对控制设备的反馈。该反馈可由用户或直接由器具执行。在添加原料的情况下，秤自身将重量报告给控制设备。

这两个步骤4和5也可以按相反的顺序发生，使得来自器具的反馈触发命令被发送到另一器具。

控制设备在步骤6中决定媒体文件是否已完成运行或在当前情况下蛋糕是否已完成烘焙。如果蛋糕已完成烘焙，则该方法在点7处结束。

如果没有完成烘焙，则控制设备在步骤8中检查继续运行媒体文件是否仍然是有利的。通常，继续是有利的，使得再次跳回到步骤3且再次重放媒体文件，直到下一所需任务为止。

然后遵循对用户的、碗必须被分配到和面机内的指令，于是所述和面机使用从媒体文件提取的信息(例如速度和时间)来搅拌原料以形成生面团。均匀生面团一旦实现或设定的时间一旦过去，就再次存在至控制设备的反馈。蛋糕还没有完全被烘焙且继续是有利的。然后再次跳回到步骤3。

继续重放媒体文件且指示用户必须将生面团放置到烘焙模具内。一旦用户确认所执行的任务，两个决定6、8和至步骤3的返回就再次发生。

控制设备允许媒体文件继续运行且一旦烤箱被充分预热就指示用户将烘焙模具插入到烤箱内。为此目的，烤箱被启动，使得它自动打开门且用户能够插入模具。烤箱门的关闭由烤箱报告回，作为蛋糕已被放置在烤箱中的报告。因此，再次切换到步骤3，且将所需的烘焙时间传输到烤箱。

如果用户错误地没有将填充的烘焙模具放置到烤箱内，而是仅仅关闭烤箱门，则烤箱可向控制单元给出反馈5。检查运行是否仍然是有利的。当情况就是这样时，再次切换到步骤3，且再次向用户重放包含将烘焙模具插入到烤箱内的指令的序列。烤箱门被打开，用户确实将蛋糕插入到烤箱内，关闭门，且烘焙时间被重置。

如果用户在工作步骤中采取完全错误的动作且继续运行不再是有利的，则跳到步骤1且控制设备搜索并选择用于解决问题的媒体文件。举例来说，用户可能将太多的面粉添加到原料。因此，用于使用该数量的被添加的面粉的媒体文件被搜索并被选择。

Claims (14)

1.一种用于使用控制设备来控制合并到系统、特别是建筑自动化系统内的至少一个器具的方法，包括下列步骤：

-由用户或由所述系统选择和/或检索媒体文件，

-分析所述媒体文件并从所述媒体文件提取所述控制相关的信息，

-基于从所述媒体文件提取的信息来将控制命令发送到所述至少一个器具。

2.如权利要求1所述的方法，其特征在于，所述器具给所述控制设备特别地包含它的状态的反馈。

3.如权利要求2所述的方法，其特征在于，所述控制设备基于来自所述器具的所述反馈来控制所述媒体文件的运行。

4.如权利要求3所述的方法，其特征在于，控制所述媒体文件的运行包括下面步骤的一个或组合：

-停止所述运行，

-将所述运行向前跳到特定的点，

-将所述运行向后跳到特定的点，

-中断所述运行，

-继续所述运行，

-选择和/或检索另一媒体文件。

5.如权利要求1至4中任一项所述的方法，其特征在于，所述媒体文件的分析基本实时地发生。

6.如权利要求1至4中任一项所述的方法，其特征在于，所述媒体文件的分析独立于所述媒体文件的运行而发生。

7.如权利要求1至6中任一项所述的方法，其特征在于，为了分析所述媒体文件并提取所述信息，评估音频数据和/或视频数据和/或额外信息。

8.如权利要求1至7中任一项所述的方法，其特征在于，所述控制命令借助于所述系统、特别是建筑自动化系统被发送到所述至少一个器具。

9.一种用于建筑自动化的计算机程序产品，当它在计算机上执行时按顺序从媒体文件提取信息，基于所提取的信息而能够特别地以权利要求1至8中任一项所述的方法来控制在系统中、特别是在建筑自动化系统中的至少一个器具。

10.如权利要求9所述的计算机程序产品，其特征在于，为了提取所述信息，评估来自所述媒体文件的音频数据和/或视频数据和/或额外信息。

11.一种特别地用于如权利要求1至8中任一项所述的方法的用于控制合并到系统内、特别是建筑自动化系统内的至少一个器具的控制设备，包括媒体数据接口、用于使用户选择和/或检索媒体文件的操作员元件或至操作员元件的连接元件、用于显示所选择的媒体文件的显示单元或至显示单元的连接元件、用于分析和提取来自所述媒体文件的控制信息的特别地具有如权利要求9或10所述的计算机程序产品的分析单元或至分析单元的连接元件、以及至系统、特别是至建筑自动化系统的接口。

12.如权利要求11所述的控制设备，其特征在于，至所述系统的所述接口被单向或双向地配置。

13.如权利要求11或12所述的控制设备，其特征在于，所述媒体数据接口具有至互联网的连接。

14.一种包括如权利要求9或10所述的计算机程序产品和/或如权利要求11至13中任一项所述的控制设备的建筑自动化系统。