CN111511599A - 用于运行辅助系统的方法和汽车用辅助系统 - Google Patents

Abstract

本发明涉及一种用于运行车辆辅助系统的方法，具有以下步骤：确定该车辆内的、姿势所朝向的区域；识别并分析使用者的语音输入；确定与所确定的区域相关且响应于语音输入的控制指令。根据本发明，确定在所述姿势与语音输入之间的时间差，将该时间差与一预定时间窗相比较，并且如果该时间差处在该预定时间窗内，则输出该控制指令。

Description

用于运行辅助系统的方法和汽车用辅助系统

本发明涉及一种用于运行辅助系统的方法以及一种汽车用辅助系统。

已知的是通过语言、查看姿势或指点姿势或其组合以非接触方式来控制车辆功能。

DE 10 2013 011 531 A1公开了一种方法，在此，借助光学检测装置来测知针对操作件的指点姿势。一旦使用者已完成预定的语音指令，则输出关于所测知操作件的预定信息。

现有技术的缺点是，只有当车辆乘客指向操作件时，预定信息才被输出。

本发明的任务是与此相比提供一种允许更舒适地操作辅助系统的方法。

该任务通过一种具有权利要求1的特征的用于运行辅助系统的方法以及一种根据权利要求10的系统来完成。从属权利要求限定出本发明的优选有利的实施方式。

在本发明的方法中，确定姿势与语音输入之间的时间差，进行该时间差与预定时间窗的比较，并且如果该时间差处在预定时间窗内，则输出控制指令。

为了确定时间差，考虑使用者所做姿势的时刻和使用者完成语音输入的时刻。根据所做出的姿势和语音输入的时刻来确定以哪种时间差做出了姿势和语音输入。只要该时间差或所述时刻处在一预定时间窗内，则输出控制指令，否则辅助系统不做反应。优选地，用于确定姿势与语音输入的时间差的相应时刻被存储在存储单元中，或者，在先事件(即姿势或语音)的时刻被存储，从而相对于相应在后事件(即语音或姿势)的时间差可被确定。所述时刻涉及姿势和语音输入的可能时间信息之一。时间差例如涉及到包含有效识别姿势和语音输入的时刻的时间信息。“姿势”原则上是指所有类型的姿势、尤其是手势或查看姿势。在本申请范围内，“手势”基本上是指指点姿势，“查看姿势”是指视线方向姿势。语音输入的有效识别通过自然语言理解和语音输入内容采集来确定。姿势有效识别是指姿势所朝向的车内区域的成功确定。或者，在确定时间差时参照语音输入的开始时刻或结束时刻以及姿势的开始时刻或结束时刻。姿势和语音输入的时间差为此例如根据姿势的开始时刻和语音输入的结束时刻、或者根据姿势有效识别时刻和语音输入有效识别时刻、或者根据姿势的结束时刻和语音输入有效识别时刻来确定。原则上，姿势和语音输入之间的时间差可以根据应用场合依照所述姿势时间信息之一(即姿势开始时刻、姿势结束时刻或有效姿势识别时刻)和所述语音输入时间信息之一(即语音输入的开始时刻、语音输入的结束时刻或语音输入有效识别时刻)来确定。姿势的做出和语音输入可以由司机、副驾或后排乘客在车内进行。此外，也可以在车辆外采用姿势和语音输入来控制停车入位过程或调车过程。针对车辆的姿势和语音指令例如可被用于车辆的停止或运动。

车辆区域包含一个或多个部件。该区域为此例如可以具有开关或包括多个开关的开关区、单独的显示件或带有多个显示件的驾驶座舱。根据所做姿势的精度、区域可见性和摄像机分辨率，可利用姿势来选择具有单独或多个部件的区域。所述部件例如包含开关、按键、操作柄、指示灯、显示器上的指示符号或声音输出源。该语音识别系统此时利用使用者所表述的关键词或是通过在预定停留期间指向区域的姿势被启用。有利地，该方法允许姿势朝向一区域，接着转变该姿势的取向，随后才借助语音输入提出关于姿势所朝向的确定区域的问题。

在方法的一个改进方案中，当语音输入符合关于车辆内所确定区域的语境时，才输出控制指令。如果例如确定区域是一指示灯，则关于指示灯功能的询问符合关于该确定区域的语境。如果确定区域是已知的，则针对该区域确定最常用的叫法或称呼。如果在语音输入中识别出其中一种所述叫法，则假定语音输入匹配于确定区域的相关语境。如果语音输入可被归属为与由姿势识别装置所确定的区域不相关，例如询问电话号码，则不发出控制指令。有利地，借此可以保证所输出的控制指令以高精确性促成使用者所期待的车辆反应。

在另一个优选实施方式中，在朝向包括多个部件的区域做出姿势的情况下输出控制指令，其对使用者做出请求。所述请求告知使用者要更明确说明所述多个部件之一。包括多个部件的区域例如是开关板、屏幕或中控台。所述请求例如通过语音输出或显示进行，所述明确说明可以通过更准确的指点姿势或查看姿势或语音输入进行。有利地，该方法在朝向包括多个部件的区域做出姿势的情况下允许通过附加输入来重复确定这些部件。

在一个替代实施方式中，姿势所朝向的区域是显示区域。仅当显示事件/显示结果与姿势和/或语音输入同时地出现在该显示区域内时，才发出控制指令输出。显示区域例如包括发光件或用于显示图标的显示器。除了姿势和/或语音输入的时刻外，也存储重现显示事件开始时刻和结束时刻的时间信息。姿势的时刻此时对应于姿势所朝向的车内区域的成功确定，或者姿势的开始时刻或结束时刻。语音输入的时刻通过确认语音输入有效识别来确定，或是通过语音输入的开始时刻或结束时刻来确定。该显示事件例如包括点亮发光件或图标。依据显示事件的时间信息可以检查该显示事件是否与姿势和/或语音输入同时地出现在显示区域内。如果显示事件与姿势和/或语音输入同时地出现，则假定该显示事件与姿势和/或语音输入有因果关系。有利地，与姿势或语音输入相关地按照时间观察显示事件减少了错误控制指令的输出。在一个替代实施方式中，该显示事件可以是声音警报例如嘟嘟声。

在该方法的另一个改动方案中，当显示事件在姿势和/或语音输入的时刻已结束时，仍输出控制指令。例如动态驾驶系统的一指示灯在短暂介入期间短暂亮起且随后又熄灭。接着，车辆乘客提问指示灯的意义。只要预定条件被满足，就输出控制指令，其造成对该提问的回答。该控制指令在如下条件下被输出，即，显示事件与姿势和/或语音输入的时间差处在另一个预定时间窗内。仅当例如显示事件结束时刻与姿势识别时刻之差在该另一个预定时间窗内，并且例如姿势识别时刻与语音输入时刻之差在该预定时间窗内，则才输出控制指令。

在一个改进方法中，一旦朝向确定区域的姿势达到可预定时间，则启用语音识别系统以识别和分析使用者的语音输入。语音识别系统的启用状态在此通过相应的象征符号如麦克风符号来示出。有利地，针对使用者简化了辅助系统的操作，这是因为无需再通过预定关键词或通过借助开关件的人工接通来启用。

在一个改动的实施方式中，通过该控制指令来启动执行机构。该执行机构例如调节后视镜、通风装置、储物箱或方向盘。有利地，借助该执行机构可以非接触调整车辆部件，在这里，相比于传统的手动操作允许很小程度的分心行车行为。

在该方法的其它设计中，通过该控制指令来启用语音输出或显示。除了给使用者提供信息外，语音输出或显示还允许与使用者开展对话。

在另一个实施例中，依据不同的配备情况来发出所述语音输出或显示。使用者例如朝向一区域，在这里，根据配备情况在该区域内设置有各种不同的开关件或各种不同的发光显示件。有利地，所述语音输出或显示表明，在所安装系统X中开关具有功能a，而在所安装系统Y中开关具有功能b。

在另一个实施例中，姿势所朝向的车内区域的确定只在朝向该区域的姿势达到最短时间时进行。通过预定最短时间来避免所确定的车内区域是使用者无意识朝其做出姿势的区域。

在另一个设计中，所述姿势是查看姿势和/或指点姿势。这类姿势例如允许区域的选择或部件的操作，其中，分心驾驶行为的程度是很轻微的。查看姿势或指点姿势被识别，并且查看姿势或指点姿势所朝向的区域或部件被确定。或者，查看姿势和指点姿势都可以被识别，并且查看姿势和指点姿势所朝向的区域可被确定。

在另一个实施方式中，查看姿势根据头部姿态来确定。换言之，根据头部姿态来确定使用者的目光看向哪个方向。这种视线方向确定例如允许准确区分使用者看向组合仪表抑或汽车音响单元。通过头部姿态确定视线方向的方法是很耐用的，即使使用者戴太阳镜时也可靠起效。

在该方法的一个改进方案中，预定时间窗的大小取决于行驶状况。在例如在高速下或公路弯道时要求司机高度专注于交通状况的行驶状况下，该时间窗或另一个时间窗相比于例如在半自主驾驶或车辆稀少的高速公路行驶时对司机注意力要求低的行驶状况被设计成是不同的。如果需要高度专注于交通，则例如应该有比自主驾驶时更大的时间窗。

本发明的辅助系统具有计算单元，其确定在所述姿势和语音输入之间的时间差，将该时间差与一预定时间窗相比较，并且如果该姿势和语音输入的时间差处在预定时间窗内，则输出该控制指令。该计算单元是带有配套存储单元的处理器，存储单元用于存储姿势的时间信息、即用于存储开始时刻或结束时刻或者有效识别时刻。该计算单元还存储语音输入的时间信息、即语音输入有效识别时刻或者语音输入的开始时刻和/或结束时刻。该处理器被设计成：借助存储的时间信息来确定姿势和语音输入之间的时间差，将其与预定时间窗相比较，并且仅在该时间差处在预定时间窗内的情况下输出控制指令。

其它的优点、特征和细节来自以下对实施例的详细说明。所述的和/或如图所示的特征可以单独地或以任何有意义的组合方式形成发明主题(或许也与权利要求无关)，并且尤其也还可以是一个或多个单独申请的主题。相同的、相似的和/或功能相同的零部件带有相同的附图标记，其中：

图1示出具有本发明辅助系统的车辆内室的示意图，

图2示出本发明的用于运行辅助系统的方法的流程图，

图3示出本发明的用于运行辅助系统的方法的另一个实施例的流程图。

图1示出了具有本发明辅助系统和车辆使用者1的车辆内室。该辅助系统在本实施方式中包括姿势识别装置3、5，其被设计成查看姿势识别装置3和手势识别装置5。在根据图1的实施方式中，既安装有查看姿势识别装置3、也安装有手势识别装置5，在一个替代实施方式中也可以仅安装两个姿势识别装置3、5之一。

用于识别车辆使用者1的查看姿势6或查看方向的查看姿势识别装置3被设计成立体摄像机，用于识别手部指点姿势4或指点方向的手势识别装置5被设计成飞行时间摄像机(ToF摄像机)。ToF摄像机是3D摄像机系统，其以渡越时间方法测量距离。

辅助系统还包括与语音识别系统9相连的麦克风7。车辆使用者1的语音输入8被麦克风7录下并被转送至语音识别系统9以做分析。语音识别系统9最好以自然语言处理方法(NLP)工作并且设立用于理解自然语言。

计算单元19接收姿势识别装置3、5的数据、语音识别系统9的数据和/或关于车辆内的显示事件的数据。关于显示事件的数据除了显示事件本身外还包括事件的地点和/或时间信息。例如关于显示事件的数据包括关于组合仪表21中警报灯接通的信息和通断时刻的相应时间信息。计算单元19分析接收的数据并确定接收的数据是否具有预定的时间关系。

在第一情况下，可以根据语音输入8输出与由指点姿势或查看姿势4、6确定的区域相关的信息。该区域在此可以包含一个或多个部件。例如识别出使用者1以指点姿势4或查看姿势6朝向一开关。另外，通过自然语言识别出提问“这个开关是干什么的”。如果开关识别和语音输入在一预定时间窗内进行，则输出控制指令用以输出对符合所识别区域相关语境的提问的答复。由控制指令触发的应答通过扬声器13或例如汽车音响单元15的屏幕来输出。如果指点姿势或查看姿势4、6朝向的是可调节的部件，则可通过控制指令促成符合语音输入语境的执行机构17调节、如打开手套箱或调节后视镜。

另外，计算单元19设立用于确定由语音识别系统9识别的使用者输入是否在逻辑上符合与结合使用者1的指点姿势或查看姿势4、6所确定的区域相关的语境且匹配于车内的显示事件。

在灯闪烁情况下，使用者指向灯并提问“什么在那儿闪”或“刚才闪的是什么”。语音系统9依据自然语言识别确认对闪烁部件的提问并将其转发给计算单元19。手势识别装置5确定使用者已指向哪个区域并将其同样传送至计算单元19。计算单元19自车辆获得关于“警报灯在期间x内已闪烁”这一显示事件的信息。

计算单元19因此具有以下信息：

-使用者1指向灯，

-“灯闪烁”显示事件与指点动作同时地进行，

-语音输入8的语境涉及到闪烁的灯，

-指点姿势7和语音输入8的时间差处在预定时间窗内。

这些信息允许计算单元19相当可靠地输出匹配于语音输入8的控制指令。控制指令通过扬声器13和/或例如车辆音响单元15的显示单元触发包含关于闪烁灯的解释的信息输出。

计算单元19、语音识别系统9和/或姿势识别装置3、5在此可以被全部集成在一计算单元中。

以下，依据图2和图3来详细说明可由辅助系统执行的方法步骤。

根据图2，在第一步骤S100中确定指点姿势或查看姿势所朝向的区域。该区域在此可以包含一个或多个部件。为此，指点方向或视向被分析，并且确定其在车辆内指向哪个方位。接着在车辆侧确定哪个区域布置在该方位。指点方向或视向的确定用姿势摄像机或视向摄像机进行。确定区域和有效识别时刻在步骤S200中被存储。在步骤S300中，语音输入通过语音识别系统被确定和分析。语音输入有效识别结果和对应的语音识别时刻在步骤S400中被存储。在步骤S500a中检查在步骤S200中存储的、指点姿势或查看姿势的有效识别时刻与在步骤S400中存储的语音输入有效识别时刻之间的时间差是否处在预定时间窗内。如果在该指点姿势或查看姿势与语音输入之间的时间差不在预定时间窗内，则在步骤S600中结束该方法。

在可选的方法步骤S500b中检查语音分析结果是否符合与确定区域相关的语境。如果例如未能识别到语境，则在步骤S600中结束该方法。

如果指点姿势或查看姿势的有效识别和语音输入有效识别之间的时间差处在预定时间窗内、且或许语音分析结果符合确定区域的相关语境，则在步骤S700中确定控制指令。该控制指令依据语音分析结果和由指点姿势或查看姿势确定的区域来确定。例如提问“这开关是干什么用的”符合与由指点姿势或查看姿势确定的开关相关的语境，并且存储的控制指令被调出或产生。在步骤S800中进行由在步骤700中确定的控制指令促成的输出。该控制指令例如促成对提问“这开关是干什么用的”的回答，答复内容是“这开关是启闭滑动车顶的”。

语音识别系统通过关键词例如像“哈喽，汽车”被启动。已启动的语音识别系统的显示以图形方式例如通过麦克风图标渐显来进行。在一个替代实施方式中，一旦指点姿势或查看姿势持续朝向在步骤S100中确定的区域达到可预定时间，则语音识别系统被启动。例如在屏幕上显示“已计算替代可选路线”。如果使用者指向或看向屏幕区域达到例如3秒的可预定时间，则在屏幕上显示麦克风图标并且使用者可以完成语音输入。使用者又将其目光转向道路并完成语音输入，例如“是，给我示出替代可选路线”。如果作为所选区域的屏幕的有效识别和语音输入的有效识别在一预定时间窗内进行，则在步骤S700中输出控制指令，其根据S800促成替代可选路线的显示。如果使用者又指向或看向屏幕达到预定时间，则麦克风图标于是又显现且可再次完成语音输入。

在另一个例子中，在一区域中根据不同配备情况安装有不同的开关。符合例如涉及中控台区域的查看姿势或指点姿势相关语境的提问通过说明各种不同的情况来应答，如“如果开关具有P符号，则用以启动自动泊车用泊车电子装置；如果您的车辆具有拖车挂钩，则可通过操作该开关将其收折和展开”。

在另一个例子中，该语音输入可涉及调整或操作所识别的部件。例如发出语音输出“展开”且查看姿势或指点姿势朝向车辆外后视镜。在步骤S500b中的检查表明语音输入符合所识别外后视镜的相关语境。如果根据步骤S500a在有效语音输入与外后视镜有效识别时刻之间的时间差处在预定时间窗内，则在步骤S700中输出控制指令，该控制指令在步骤S800中促使车辆外后视镜展开。

作为可行的补充，该辅助系统监测：在车辆外后视镜展开之后且在车辆起步之前，是否已对外后视镜进行相应的检视。必要时，辅助系统在缺少检视时发出警报。另外，辅助系统可以确定司机是否例如通过在外后视镜中持续观察后方交通而必已对危险状况做到心中有数，并且因此完全停止警告或者以不太紧迫的方式示警。

如果在步骤S700中未能确定控制指令，例如因为所识别的查看姿势或指点姿势朝向的是具有多个部件的区域或者被另一个构件遮挡的区域，则在一个改进实施方式中在步骤S900中输出控制指令以对使用者发出以下信息和/或促请：再次与辅助系统互动并且通过后续输入来明确说明多个部件中的一个部件。这种明确说明通过进一步的使用者输入进行。在步骤S1000中收到进一步的使用者输入，在步骤S1100中分析进一步的使用者输入，并且在步骤S700中依据来自步骤S1000的进一步的使用者输入来确定控制指令。促请使用者再次与辅助系统互动可以通过语音输出、显示和/或触觉反馈进行。进一步的使用者输入可以是进一步的语音输入或更准确的查看姿势或指点姿势。如果现在依据进一步的使用者输入在步骤S700中可确定控制指令，则在步骤S800中进行输出。如果控制指令总是尚无法确定，则在步骤S900中再次输出控制指令来发出对使用者的促请。将会一直促请使用者，直至在步骤S1000中输入的进一步的使用者输入足以在步骤S700中产生控制指令。如果在规定时间内在步骤S1000中未收到进一步的使用者输入，则在步骤S1200中止该方法。

在例如指点姿势朝向无法让姿势识别装置看到的(例如因为被转向柱挡住)区域的情况下，或摄像机分辨率在视野内无法将指点姿势明确归属于正好一个开关的情况下，辅助系统能够在步骤S900中用语音列出处于该区域中的操作件(“在转向柱的左侧有圆形旋转灯光开关，下方有用于松开电子驻车制动器的开关，再下方是发动机罩解锁件。”)，随后要求更准确的进一步使用者输入。

在图3中示出了另一个用于运行辅助系统的方法，其相比于图2所示具有其它步骤。类似于图2的实施例，在步骤S100中确定一显示件区域(以下仅称为显示件)，查看姿势或指点姿势朝向该显示件。所确定的显示件和确定时刻在步骤S200中被存储。在步骤S300中，语音输入被确定和分析。语音分析结果和语音输入有效识别时刻在在步骤S400中被存储。在步骤S150中确定哪个显示事件在所确定的显示件处进行，显示事件的类型连同对应的时间信息在步骤S250中被存储。显示事件例如是点亮显示器上的标志或报警灯，该时间信息包含开始时刻和结束时刻。

在步骤S500a中检查在步骤S200中所存储的显示件确定时刻与在步骤S400中所存储的语音输入有效识别时刻之差是否处在预定时间窗中，以及检查该显示事件是否由在S250中所存储的开始时刻和结束时刻限定地与在步骤S200中所存储的时刻或在步骤S400中所存储的时刻同时地出现。

在步骤S500b中检查语音输入是否符合例如屏幕上显示事件的相关语境，查看姿势或指点姿势曾朝向或朝向该显示事件。

例如在步骤S500a和S500b中的检查表明：

-在S200中存储的时刻和在S400中存储的时刻之差处在预定时间窗内，

-该显示事件与在S200或S400中存储的时刻同时地出现，或者换言之，在S200或S400中存储的时刻处在显示事件的开始时刻和结束时刻之间，和

-使用者已经提出了在内容上与显示事件相匹配的问询，接着在步骤S700中确定相应的控制指令，其在步骤S800中例如促成输出对使用者提问的语言应答或者建立电话通信。

如果该预定时间关系未被满足或者该提问完全不符合显示事件相关语境，则在步骤S600中结束所述方法。如果该语音输入原则上可归入显示事件相关语境但不清楚，或者查看姿势或指点姿势无法明确归类于一个部件，则类似于图2的方法利用步骤S900-S1200要求进一步具体化。

语音识别系统的停用可以例如在未出现进一步语音输入情况下自动进行，或通过单独应答来进行。在单独应答情况下，例如可向使用者提问“您是否理解答案？”，在这里，答复“是”则结束语音对话且停用语音对话系统。

在未示出的另一个方法中，查看姿势所朝向的区域以及指点姿势所朝向的区域都被确定。本发明假定，使用者也将其目光投向其所指的区域。在依据图2和图3所述的方法中，在步骤S100中接着还检查依据查看姿势和依据指点姿势所确定的区域是否一致，其中，所述区域在步骤S200中仅在一致时才被存储。于是，该方法允许更可靠地确定使用者所选区域。

所提出的方法通过显示、指点姿势、查看姿势和/或语音的协调可向使用者提供对其输入的准确反馈。

尽管通过优选实施例具体详细地示出和描述了本发明，但本发明不受所公开的例子的限制，本领域技术人员可以由此推导出其它的改变，而没有离开发明保护范围。因此显而易见的是存在许多变化可能性。也清楚明白的是，例举的实施方式仅作例子，其绝不应被理解为比如是对发明的保护范围、应用可能性或配置的限制。相反，在先说明和附图说明使得技术人员能够具体实现实施例，在这里，技术人员在了解所公开的发明构思的情况下可以完成例如关于在一个实施例中提到的各自零部件的功能、顺序或布置的各种各样的改变，而没有超出由权利要求书及其合法等同比如在说明书中可能有的概括描述限定的保护范围。

Claims (10)

1.一种用于运行车辆辅助系统的方法，具有以下步骤：

-确定该车辆内的、姿势所朝向的区域(S100)，

-识别并分析使用者的语音输入(S300)，和

-确定与所确定的区域相关且响应于该语音输入的控制指令(S700)，

其特征是，

-确定在所述姿势与语音输入之间的时间差，

-将该时间差与一预定时间窗相比较(500a)，和

-如果该时间差处在该预定时间窗内，则输出该控制指令(S800,S900)。

2.根据权利要求1的方法，其特征是，仅当该语音输入符合关于该车辆内所确定区域的语境(S500b)时，才输出该控制指令(S800,S900)。

3.根据权利要求1或2的方法，其特征是，当姿势朝向包含多个部件的区域时，输出控制指令(S900)，该控制指令促请使用者通过进一步输入来准确说明所述多个部件之一。

4.根据权利要求1至3之一的方法，其特征是，该车辆内的所确定的区域是显示区域，其中，仅当显示事件与所述姿势和/或语音输入同时地出现在该显示区域内时，才输出控制指令(S800,S900)。

5.根据权利要求1至3之一的方法，其特征是，该车辆内的所确定的区域是显示区域，其中，当该显示事件与所述姿势和/或语音输入的时间差处在另一个预定时间窗内时，输出控制指令(S800,S900)。

6.根据权利要求1至5之一的方法，其特征是，一旦所述姿势持续朝向所述确定区域达到可预定时间，则启动语音识别系统以识别和分析使用者的语音输入。

7.根据权利要求1至6之一的方法，其特征是，通过该控制指令启动执行机构、语音输出或显示。

8.根据权利要求1至7之一的方法，其特征是，该姿势是查看姿势和/或指点姿势。

9.根据权利要求8的方法，其特征是，该查看姿势根据头部姿态来确定。

10.一种汽车用辅助系统，尤其设计用于执行根据权利要求1至9之一的方法，该辅助系统包括：

-用于识别姿势(4,6)并确定该姿势(4,6)所朝向的区域(15,21)的姿势识别装置(3,5)，

-用于识别并分析使用者的语音输入(8)的语音识别系统(9)，

-计算单元(19)，该计算单元关于所确定的区域(15,21)响应于所识别的语音输入(8)输出控制指令，

其特征是，该计算单元(19)确定在所述姿势和语音输入之间的时间差，将该时间差与预定时间窗相比较，并且如果所述姿势(4,6)和语音输入(8)的时间差位于该预定时间窗内，则输出该控制指令。

Images