CN1938672A - 电气设备以及该设备与用户之间进行交流的方法 - Google Patents

Abstract

描述了一种电气设备和在设备与用户之间进行交流的方法。所述设备包括用于检测在其附近的对象(34、36)的传感器装置，例如照相机(18)。将对象(34、36)的位置存储在存储器(M)中。例如可以将机械指示元件形式或带有用于生成聚集光束(40)的光源的定向指示单元(20)指引到所述设备附近的对象上。在对话中，能由此向人类用户指出对应的对象。

Description

电气设备以及该设备与用户之间进行交流的方法

众所周知存在许多种用户与电气设备之间进行交流的可能。为了输入到设备中，这些可能性包括：诸如按键或触摸屏之类的机械或电气输入装置以及光学(例如，图像传感器)或声学输入装置(具有它们相应的信号处理、例如语音识别的麦克风)。对于设备到用户的输出，几种可能性也是已知的，具体而言比如像光学(LED、显示屏幕等等)和声学指示。声学指示不仅可以包括简单的基准音调，而且例如还可以包括语音合成。通过组合语音识别和语音合成，可以使用用来控制电气设备的自然语音对话。

US-A-6,118,888描述了一种控制例如计算机或消费者电子设备的电气设备的控制装置和方法。对于设备的控制而言，用户具有许多输入可能性，比如像键盘或鼠标这样的机械输入可能性以及语音识别。此外，控制装置具备照相机，利用该照相机就能够获得用户的姿势和拟态并作为进一步的输入信号加以处理。与用户进行交流是以对话的形式来实现的，在对话中系统还具有向用户传输信息的许多模式的处置。这些模式为语音合成和语音输出。具体而言，这些模式还包括拟人表示，例如，人类、人类面部或动物的表示。这些表示在显示屏幕上被显示为计算机图形图像。

然而，迄今已知的输入和输出装置在一些应用中是麻烦的，例如当电气设备与用户进行对话时应该指示其附近的位置或对象。

因此，本发明的目的是，提供一种设备和一种在设备与用户之间进行交流的方法，特别是当指示其附近的对象时，利用所述设备和方法可以进行简单而有效的交流。

这个目的是利用如权利要求1中限定的设备和如权利要求10中限定的方法来解决的。在本发明的有利的实施例中限定了从属权利要求。

本发明是以这样的认识为基础的，所述认识就是：人类交流方式的模拟实验对于设备和人类用户之间的交流而言也是有利的。这种交流方式是指示。因此，根据本发明的设备包括能够指示其附近的对象的定向指示单元。

对于有用的指示应用而言，所述设备需要关于其附近的信息。根据本发明，提供了用于检测对象的传感器装置。照此，所述设备自身能够检测其附近，并且确定对象的位置。在与用户的交互作用中，由此能够指引指示单元以指向这些对象。

在该设备中，可以直接地从传感器装置向指示单元传输对象的位置。例如，这在跟踪、即追随期望的运动对象时是有用的。然而，该设备优选地包括用于存储对象位置的至少一个存储器。

所述指示单元能够以不同方式来实现。一方面，可以使用具有例如拉长的形状且可机械移动的机械指示元件。机械运动优选地包括机械指示元件绕至少一个、优选地为两个的垂直于指示方向的轴的旋转运动。然后，通过适当的驱动装置按照将其指引到其附近的对象的方式来旋转该指示元件。类似于当在人类交流中(用手)指示时那样，由此所述设备就可以指示对象。

另一方面，指示单元还可以包括光源。为了指示的目的，例如通过使用激光或适当的光学系统或光阑生成集中光束。可以通过利用适当手段将光束指引到位于设备附近的对象上以便照射这些对象，并由此在设备与人类用户之间进行交流的过程中指示出这些对象。对于指引光束而言，可以将光源设置成可机械移动的。作为选择，还可以通过一个或多个可机械移动的反射镜将光源所产生的光指引到所期望的方向。

根据本发明的用于检测位于设备附近的对象的传感器装置例如可以形成为光学传感器装置，具体而言可以形成为照相机。当适当地处理图像时，就可以识别出检测范围内的对象并且确定它们相对于该设备的相对位置。然后，适当地存储对象的位置以便当在与用户进行交流的过程中需要用它来指示对象时，能够将指示单元指引到这个对象上。

依照本发明的另一个实施例，所述设备包括可机械移动的拟人化元件。这是设备的一部分，该部分充当用户的对话伙伴的化身。这类拟人化元件的具体实施可以非常不同。例如，它可以是相对于电气设备的固定外壳而言可机动移动的外壳的一部分。拟人化元件具有能照这样被用户识别的正面是必不可少的。如果这个正面面对着用户，则由此会给他这样的感觉：该设备是“专心的”，即该设备能够接收例如语音命令。

为此，所述设备包括用于确定用户位置的装置。这些装置优选地是被用来检测在该设备附近的对象的相同的传感器装置。通过使拟人化元件的正面朝向用户的位置的方式来控制拟人化元件的运动装置。用户由此经常会有该设备准备“倾听”他的感觉。

拟人化元件例如可以是拟人表示。这可能是人类或动物的表示，而且也可能是幻想图形。所述表示优选地是人类面部的仿造品。它可以是逼真的表示或仅仅是符号表示，在符号表示中例如仅仅显示出诸如眼睛、鼻子和嘴之类的轮廓。

优选地，将指示单元设置在拟人化元件上。可以通过完全地或部分地确保指示单元的定向可能性的方式来利用拟人化元件的机械移动性。例如，如果拟人化元件可绕垂直轴旋转，那么设置在拟人化元件上的指示单元就可能因这种旋转而移动，并指引到对象上。如有必要，则指示单元可以具有附加的定向装置(驱动器、反射镜)。

优选的是，所述装置包括用于输入和输出语音信号的装置。一方面，语音输入可理解为是指拾取声信号，另一方面，它们借助于语音识别来进行处理。语音输出包括语音合成并且例如借助于扩音器加以输出。通过利用语音输入和输出装置，可以实现设备的全部对话控制。作为选择，为了娱乐用户，对话还可以由他来保持。

所述设备的实施例将在下文中参照附图加以阐明。在图中：

图1示出了设备的实施例；

图2是设备的功能单元的符号表示；

图3示出了图1的设备，在该设备的附近具有对象。

图1示出了电气设备10。设备10具有带拟人化元件14的基座12，该拟人化元件可相对于基座12而绕垂直轴360°旋转。拟人化元件14是平的而且具有正面16。

设备10具有用于从人类用户那里接收输入信息并用于向用户传输输出信息的对话系统。取决于设备10的实施方式，这种对话本身可被用来控制设备10，或者设备10作为它自己的控制单元以便控制与之连接的其它设备。例如，设备10可以是消费电子设备，例如音频或视频播放器，或者这类消费电子设备设备受设备10的控制。最后，利用设备10保持的对话还可能没有将对设备功能的控制当作其优先的目标，而是可以用来娱乐用户。

设备10可以借助于传感器来检测它的附近。将照相机18设置在拟人化元件14上。照相机18在拟人化元件14的正面16前面检测其范围内的图像。

借助于照相机18，设备10能够检测和识别出位于其附近的对象和人。由此检测出人类用户的位置。拟人化元件14的电动机驱动(未示出)是相对于其调节角α进行控制的，以使拟人化元件14的正面16朝向用户指引。

设备10能够与人类用户进行交流。经由麦克风(未示出)，它接收来自于用户的语音命令。借助于语音识别系统来识别所述语音命令。另外，所述设备包括语音合成单元(未示出)，利用该语音合成单元就能够生成给用户的语音消息并经由扩音器(未示出)产生。照此，与用户进行交互作用就能够采取自然对话的形式。

此外，指示单元20是设置在拟人化元件14上的。在所示的实施例中，指示单元20是激光二极管形式的可机械移动的光源，其对应的光学系统可用于生成集中且可见的光束。

指示单元20是定向类型的。通过适当的电动机驱动(未示出)，它就能够相对于拟人化元件14以高度角β加以旋转。通过将拟人化元件14绕角α的旋转与适当高度角β的调节结合起来，就能够将来自于指示单元20的光束指引到位于该设备附近的对象上。

经由中央单元来控制设备10，在该中央单元中执行操作程序。所述操作程序包括针对不同功能的不同模块。

如上所述，设备10能够与用户进行自然对话。相应的功能是以软件模块的形式实现的。所需的语音识别模块、语音合成模块和对话控制模块对于本领域的技术人员都是公知的，因此将不作详细描述。语音识别的基本原理以及关于语音合成和对话系统结构的信息例如在下列文献中作了描述：1993年Lawrence Rabiner、Biing-Hwang Juang所著的Prentice Hall出版社出版“Fundamentals of SpeechRecognition”(ISBN 0-13-015157-2)；1997年Frederick Jelinek所著的MIT出版社出版的“Statistical Methods for SpeechRecognition”(ISBN 0-262-10066-5)；和1995年E.G.Schukat-Talamazzini所著的Vieweg出版的“AutomatischeSpracherkennung”(ISBN 3-528-05492-1)，以及在这些书中作为参考提到的文献。在Bernd Souvignier、Andreas Kellner、BernhardRueber、Hauke Schramm和Frank Seide所著的文章“The thoughtfulelephant：Strategies for spoken dialog systems”(IEEETransactions on Speech and Audio Processing，8(1)：第51-62页，2000年1月)中还提供了综述。

在与用户对话的范围内，所述设备10能够通过指向它们来指示在其附近的对象。为此，适当地将指示单元20排成一行并将光束指引到相关对象上。

现在将阐明用于控制指示单元的软件结构。图2的下半部分示出了设备10的输入子系统24。在这幅图中，用普通的框示出了设备10的传感器单元、即照相机18。软件模块22对照相机摄取的信号进行处理，以便进行接近度分析。从由照相机18所摄取的图像中提取关于设备10附近的对象的信息。用于隔离和识别对象的相应的图像处理算法是本领域技术人员所公知的。

已经识别出的关于对象的信息以及在这个示例中用旋转角α和高度角β来表示的它们相对于设备10的相对位置都被存储在存储器M中。

图2的上半部分示出了设备10的输出子系统26。所述输出子系统26以这种方式受对话模块28的控制，以致提供给定的输出信息。输出计划模块30取代输出信息的计划，并检查输出信息是否将是通过使用指示单元20来给出的。其局部模块32判断应该指向设备10附近的哪一个对象。

通过接口模块I来控制指示单元的驱动器D。通知驱动器D必须指向哪一个对象。驱动器模块D询问存储器M将要控制的位置并相应地控制指示单元20。为了指向该对象，用于以固定角α旋转拟人化元件14并且用于以相关高度角β指引指示单元20来控制该驱动器(未示出)。

在图3中示出了一种情形的示例。具有许多CD36的CD架34出现在设备10的附近。拟人化元件14的正面16上的照相机18检测到CD架34的图像。通过适当的图像处理，能够识别出现在架34中的单独的CD36。在适当的光学分辨率的情况下，就可以读取标题和演奏者。这个信息连同关于单独的CD的位置的信息(即，架34的旋转角α和相关的CD相对于设备10的高度角β)一起被存储在存储器中。

在与用户保持的对话中，所述设备10应该向用户提出关于他能听的CD的建议。相应地对对话控制模块28进行编程，以便通过语音合成询问用户关于他所喜欢的音乐风格的问题，并通过语音识别来进行回答。在根据由此采集的信息适当选择架34中的CD36之后，输出子系统2便开始工作。这个子系统相应地控制指示单元20。从而，将由指示单元发射出的光束40指引到所选的CD36上。同时，通过语音输出信息来通知用户这是由设备给出的推荐。

用于选择适当CD的设备10的上述应用只应被理解成是使用指示单元的一个例子。在另一个实施例(未示出)中，所述设备10是安全防范系统，例如，被连接到报警装置的控制单元的安全防范系统。在这种情况下，利用指示单元将用户的注意力引至可能引发安全性问题的房间中的某些地方、例如打开的窗口。

许多其它的应用对于能够借助于指示单元20来指向在其附近的对象的设备而言都是可行的。这类设备不仅可以是静止的设备而且还可以是移动的设备、例如机器人。

在进一步的实施例中，所述设备10能够借助于照相机18来追踪其附近的对象的运动。通过使光束40保持被指引到运动对象上这样的方式，来控制拟人化元件和指示单元20。在这种情况下，不在存储器M中缓冲对象坐标而是由软件模块22直接控制指示单元的驱动器D以便进行接近度分析，这是可能的。

Claims (10)

1.一种电气设备，其包括：

传感器装置(18)，用于检测在该设备(10)附近的对象(34，36)；和

定向指示单元(20)，其能够被指引到在该设备(10)附近的对象(34，36)上。

2.如权利要求1所述的设备，包括：

至少一个存储器(M)，用于存储对象(34，36)的位置(α，β)。

3.如前述权利要求中的任何一项所述的设备，其中：

所述指示单元包括机械指示元件，其通过能够被指引到在所述设备附近的对象上的方式而可机械地移动。

4.如前述权利要求中的任何一项所述的设备，其中：

所述指示单元(20)包括用于生成集中光束(40)的光源；和

用于将光束(40)指引到在所述设备(10)附近的对象(34，36)上的装置。

5.如权利要求4所述的设备，其中：

所述光源是可机械地移动的。

6.如权利要求4或5所述的设备，其中：

用于指引所述光束(40)的装置包括一个或多个可机械地移动的反射镜。

7.如前述权利要求中的任何一项所述的设备，包括：

具有正面(16)的拟人化元件(14)；

运动装置，用于机械地移动该拟人化元件(14)；

用于确定用户位置的装置，和

控制装置，其是通过如下方式来构成的，即该控制装置通过将该拟人化元件(14)的正面(16)朝向用户的位置指引的方式来控制该运动装置。

8.如权利要求7所述的设备，其中：

所述指示单元(20)被设置在所述拟人化元件(14)上。

9.如前述权利要求中的任何一项所述的设备，其包括：

用于语音识别和语音输出的装置。

10.一种在设备(10)与用户之间进行交流的方法，其中：

所述设备(10)通过传感器装置(18)来检测在其附近的对象(34，36)；和

在存储器(M)中存储对象(34，36)的位置，并且将定向指示单元(10)与其中一个对象(36)排成一行。

Images