CN114206654A - 用于检测对交通工具的装置的用户输入的方法和操作系统 - Google Patents

Abstract

本发明涉及一种用于检测对交通工具的装置的用户输入的方法，其中检测所述装置的能操作的功能并且根据所述能操作的功能确定第一和第二潜在操作行为类型。确定优选操作行为类型并且根据所述优选操作行为类型产生输出内容并且将所述输出内容输出。在此，输出内容包括操作对象，根据所述操作对象为用户显示优选操作行为类型。用于检测对交通工具的装置的用户输入的操作系统包括控制单元(8)以及与所述控制单元(8)耦连的输出单元(3)。在此，控制单元(8)设置用于检测所述操作系统的能操作的功能，根据所述能操作的功能确定用于能操作的功能的第一和第二潜在操作行为类型并且确定优选操作行为类型。在此，控制单元(8)还设置用于根据所述优选操作行为类型产生输出内容并且借助输出单元(3)将所述输出内容输出。在此，输出内容包括操作对象，根据所述操作对象为用户显示优选操作行为类型。

Description

用于检测对交通工具的装置的用户输入的方法和操作系统

本发明涉及一种用于检测对交通工具的装置的用户输入的方法和操作系统。

现代的日常生活被大量的装置影响，所述装置的操作可以在不同的情景中以不同方式进行。为此建议了不同的操作方案，例如借助键盘、动作、语音或者指示设备控制，它们根据使用领域具有特定的优点和缺点。此外，在一些情况下为了实现相同的系统响应可以规定不同的操作模态，用户知道所述操作模态并且他必须在所述操作模态之间做决定。

业已证明，在不同的操作模态或者不同的操作可能性之间做出选择以产生确定的系统响应可能对用户要求过高。例如可以根据手册或者介绍视频来学会可供使用的操作行为类型，例如方式为在系统第一次投入运行时播放视频和/或所述视频可以在之后再被调取。在此，用户通常面对的是比他所能处理的信息量更大的信息量，并且他必须用很多时间以学会操作。

在US 2015/0175172 A1中描述了一种用于基于动作的输入的具有触觉反馈的系统。检测动作并且输出相应的反馈。此外，也可以进行语音控制。描述了不同的动作，所述动作可以借助摄像机检测并且配属于系统的不同的可控活动。

由US 2004/0189720 A1已知一种用于借助动作控制计算机的架构，其中可以与语音指令结合地使用动作。

DE 10 2009 039 114 A1建议了一种用于交通工具的操作装置，其中在三个空间区域之一中探测用户的身体部分并且在图形对象中显示配属的对象。例如可以显示数字和标尺。

US 2018/0307347 A1描述了一种用于探测动作的方法，其中，使用电容式传感器。用户可以在数据库中针对确定的指令定义动作以及通过观看指导学会预设的动作。

由DE 10 2006 037 156 A1已知一种用于运行交互式操作装置的方法，其中，显示操作元件并且探测用户对操作元件的接近。操作元件随即优化地显示，例如方式为增大所述操作元件。此外，可以借助动作控制对显示的调整。

本发明所要解决的技术问题在于，提供一种方法和操作系统，在所述方法和操作系统中支持用户对不同的操作可能性进行识别和应用。

该技术问题按本发明通过具有权利要求1的特征的方法和具有权利要求9的特征的操作系统解决。有利的设计方案和扩展设计由从属权利要求得出。

在按照本发明的用于检测对交通工具的装置的用户输入的方法中，检测所述装置的能操作的功能并且根据所述能操作的功能确定第一和第二潜在操作行为类型。确定优选操作行为类型并且根据所述优选操作行为类型产生输出内容并且将所述输出内容输出。在此，输出内容包括操作对象，根据所述操作对象为用户显示优选操作行为类型。

用户由此可以有利地特别容易地识别出哪个操作类型是当前优选的并且哪些输入是特别适宜的。

在所述方法中，首先检测能操作的功能。在此尤其检测哪个或者哪些功能当前能够被操作。在此例如是装置的状态，在所述状态中可以检测用户输入或者用户与装置的其它交互。为了操作，规定至少一个操作行为，用户可以借助所述操作行为与装置交互。在用户与装置的交互中，例如通过操作系统检测用户的操作行为并且产生控制信号并且传输至装置，以便激活或者关闭功能、输入可调节的参数或者将提示传输至装置。

在操作时，可以为借助其能够在当前进行功能操作的操作行为配置确定的操作行为类型。也就是尤其将具体的、通过用户真正执行的操作行为配置给(或者说分配给)操作行为的抽象的模型。

在所述方法中，根据所述能操作的功能确定用于能操作的功能的至少一个第一和第二潜在操作行为类型，尤其也可以确定多个潜在操作行为类型。即在首先确定了哪些功能当前能够被操作之后，还确定哪些操作类型是可行的并且能够以哪些方式、即借助哪些操作模态和/或借助哪些操作行为类型进行这些操作。例如可以在当前的操作情况和能操作的功能的状态中使用确定的动作、语音指令或者其它的操作行为类型，而其它类型的输入当前不能用于操作。例如可以在能操作的功能的确定状态中执行竖直的滚动，但不能执行侧向的移动或者反之亦然。相应地，确定的指令或者操作行为类型在这个情况下能够使用或者不能使用。

在按照本发明的方法的一种设计中，潜在操作行为类型包括三维空间中的动作、触摸敏感表面上的动作、语音输入或者对按压开关、滑移开关或者旋转开关的操作。此外，操作行为类型例如可以包括按压按键、旋转操作元件或者对操作元件的其它操控。尤其从所提到的操作类型中选择潜在操作行为类型。用户由此可以有利地特别好地在实施适宜的操作行为时得到支持。

例如借助麦克风检测语音上的表述并且将所述表述配置给确定的语音指令；在此考虑的是，真正检测到的表述通常不是准确地对应于确定的语音输入的操作行为类型的预设的、理想化的模型，而是例如由于检测时的噪声、背景声和在说出语音指令时的不固定的发声出现偏差。以类似的方式例如可以检测三维空间中的动作并且例如配置给沿确定方向的滑动动作，其中，针对真正检测到的动作确定相应的操作行为类型的模型。

此外，尤其定义这样的操作模态，所述操作模态组合了一定数量的确定的操作行为类型，尤其通过操作模态的操作行为类型的产生、执行和/或检测的共同特性实现。由此，操作模态“语音输入”可以包括不同的操作行为类型，尤其是不同的单独的语音指令。在其它示例中，针对三维空间的操作模态“动作操作”可以包括不同的动作，例如向右和向左的滑动动作、向上和向下的滑动动作、确认动作和/或指示和滑移动作，它们例如可以定义为音量动作。其它操作模态例如可以是触摸敏感表面上的动作或者对物理操作装置的操控。

在本发明中，确定用于能操作的功能的至少两个潜在操作行为类型并且将第一或者第二潜在操作行为类型定义为优选操作行为类型。随即借助输出内容的操作对象显示哪个是优选操作行为类型。由此可以有利地向用户信号化地显示，哪个操作行为类型当前特别适用于操作。

能操作的功能例如可以借助不同的操作行为类型或者操作模态被操作，例如借助语音输入、三维动作或者借助动作在触摸屏上操作。然而，根据当前的情况和/或能操作的功能的当前状态可以确定，确定的操作行为类型或者操作模态是优选的，例如语音输入或者动作操作，例如因为用户的手另有他用、因为能够更好地或者更差地到达操作元件或者检测空间以实施动作、因为背景噪声干扰语音输入的检测或者基于用户的个人偏好。

输出内容在本发明中包括操作对象、即能操作的元件，根据操作对象能够输出优选操作行为类型。操作对象例如可以设计为显示屏上的显示内容的图形元素，其中，在这种情况下操作对象定义显示屏的显示面的区域，在所述区域中的操控实现对操作对象的操作。所述操控例如可以通过借助操作对象在操作对象的区域中接触触摸屏或者通过借助指示仪器、例如通过鼠标或者类似装置控制的光标的操控实现。此外，在这种情况下可以借助动作实现操控，其中，不需要接触触摸屏或者输入装置，例如借助指示和操控动作实现。

此外，操作对象可以包括能够物理操控的装置，例如按键开关、调节器或者其它装置。在这种情况下，操作对象在输出时本身不改变其显示，而是例如在操作对象的区域中进行输出。

在按照本发明的方法中这样进行操作对象的输出，使得显示优选操作行为类型。也就是用户尤其可以领会他能够以哪种方式实施优选操作行为类型。在此，操作对象本身尤其也能够被操控以实施操作行为。

例如针对能操作的功能，作为第一操作行为类型规定例如通过在操作对象的显示内容的区域中接触触摸屏实现的对操作对象的操控，并且作为其它操作行为类型可以在三维空间中实施空间动作。如果在这个例子中动作操作是优选的，则操作对象的显示内容例如可以通过显示内容中的动态运动这样形成，使得由此已经向用户输出，他需要如何执行优选的操作动作。输出尤其这样进行，使得既向用户显示第一潜在操作行为类型也向用户显示第二潜在操作行为类型，然而其中，尤其是优选操作行为类型被突出或者特别显著地显示。

在根据本发明的方法的一种实施方式中，将确定的潜在操作行为类型配置给不同的操作模态，其中，确定优选操作模态并且根据所述优选操作模态确定优选操作行为类型。由此可以有利地以特别简单的方式对当前的操作情况进行分类，以便确定哪一个操作行为类型特别适合。

例如对情况的参数，例如驾驶模式、用户的尤其是驾驶员的精神或者身体状态、交通情况的复杂性或者用户输入进行检测，并且根据检测到的参数，总是将确定的、优选操作模态的操作行为类型作为优选操作行为类型输出。例如在确定的情况下动作操作的操作行为类型是优选的，例如在至少部分自动地控制交通工具的情况下。

尤其将以下定义为操作模态：三维空间中的空间动作，二维表面上的动作，通过触摸或按压诸如开关或按钮的操控元件的操控，借助指示元件、例如光标、鼠标、操纵杆、旋转按压调节器或触摸板的操控，或者语音指令。操作行为类型则例如是用于操作的特定的动作或者语音指令。

例如可以使用操控对象、尤其是用户的手来执行动作。在以下阐述中，与作为操控对象的用户的手有关的说明能够推广到其它操控对象、例如笔。

“动作(Geste)”尤其理解为确定的位置和定向，即操控对象、例如用户的手的姿势，或者通过操控对象执行的确定的运动。能够以本身已知的方式设计动作。所述动作尤其包括指示动作、滑动动作和日常使用中应用的动作，例如转动手、抓握动作和多个这样的在必要时直接快速依次执行的动作的组合。动作在检测空间中实施。所述动作可以与确定的装置、例如输出装置在空间上相关，并且可以例如与所述装置邻接。动作还可以包括对确定的空间位置、例如装置或者显示面上的位置的接近。通过动作操作为用户提供了特别简单和直观的操作可行性。

根据动作还能够确定空间中的方向，并且根据所确定的方向尤其可以确定以下位置，针对所述位置确定指示动作。例如，用户可以指向显示区域中的一个点并且由此进行选择。如果图形对象位于围绕所计算的点的预先确定的周围区域中，接下来可以可视化地显示对图形对象的选择。由此可以通过指示来选择图形对象。对图形对象的选择的可视化显示具有的优点为，用户直接地获得关于他的操作活动的反馈。在此，如果在围绕该点的周围区域中尚未识别出任何对象，则该点也可以在显示区域中可视化地显示。这避免了用户必须在对象之间在空白中进行搜索，直到他找到期望的图形对象。这可以进一步加速选择方法。

例如可以通过摄像机系统在不接触的情况下检测动作，该摄像机系统拍摄来自探测空间的分辨时间的视频数据，并且使用连接的分析单元将检测到的用户运动配置给确定的动作。作为备选或补充，可以通过电阻式和/或电容式表面来检测动作。

在其它的设计中，如果所述优选操作行为类型包括空间动作，则所述输出内容包括运动对象，所述运动对象具有与空间动作的方向相应的运动。因此，动作作为优选操作行为类型有利地特别容易被检测地输出并且可以被用户快速且直观地学会。所述运动尤其可以透视地显示在输出内容中。

例如，潜在操作行为类型可以包括确定的动作和通过接触触摸屏进行的控制。操作对象则可以设计为运动对象，所述运动对象的运动方向或者流程对应于潜在操作行为类型的运动。这意味着用户必须理解所显示的通过诸如他的手的操控对象实现的运动流程。同时，在本实施例中，所示的操作对象本身可以设计为能够操控的并且例如可以通过触摸来操作。

在一种扩展设计中，如果所述优选操作行为类型包括空间动作，则所述输出内容包括手的示意性的图形视图。用户由此可以有利地通过他的手的动作特别好地检测输入可行性。

输出内容、尤其是带有对在三维空间中实施动作的提示的输出内容例如可以包括操控对象、例如人手的图形视图。所述视图尤其设计为示意性的，其中，例如只显示操控对象的轮廓。图形视图可以在显示单元的显示面上输出，例如作为对其它显示内容的补充叠加地输出。尤其可以在显示面上产生具有用户界面的显示内容，该显示内容被借助操控对象的操作行为的图形视图叠加。此外，除了作为操作行为类型的三维动作之外，还可以将触摸敏感表面上的触摸或动作和/或将语音指令规定为潜在操作行为类型。尤其这样产生手的示意性视图，使得所述示意性视图具有实际手的尺寸和空间动作中手相对于输出面的布置的投影。

在一种设计中，如果第一优选操作行为类型包括语音指令，则所述输出内容包括语音指令的文本视图。用户在此可以有利地快速决定，他是想要借助语音指令还是借助其它的操作行为类型来执行操作。作为备选或补充，输出内容可以包括对语音指令的听觉上可感知的提示。

在其它的设计中，在所述方法中还提供了针对潜在操作行为类型的操作历史，并且也根据操作历史产生优选操作行为类型。

操作历史包括关于潜在操作行为类型的使用频率和/或执行质量的信息。因此，可以有利地特别好地评估确定的操作行为类型的具体使用。

操作历史例如包括关于使用确定的操作行为类型的操作行为的存储数据，必要时与能操作的功能相关，尤其涉及使用频率，条件是该操作行为类型是优选的，和/或包括在使用时确定的在执行期间的识别可靠性。操作历史包括例如关于通过针对能操作的功能的确定的操作行为类型的操作行为执行输入的频率的信息。所述操作历史例如还包括在操作行为类型被确定为优选操作行为类型时使用该操作行为类型的频率。

尤其检测用户的用户身份或者说标识，并且针对所识别的用户的潜在操作行为类型检测操作历史。由此可以有利地改进对特定用户的操作行为类型的使用。

用户身份以本身已知的方式检测。例如可以使用个人物品如移动式用户设备、车钥匙、身份证或者其它标识装置、用户输入或者光学的用户识别方法。

操作历史尤其针对所识别的用户产生，因此可以有利地评估用户的能力和/或习惯。因此例如可以根据操作历史确定，在确定类型的操作行为可供用于输入或调用功能时用户是否和/或有多经常执行所述操作行为，以及他有多经常不执行所述操作行为类型而是执行不同类型的操作行为、尤其是执行非优选操作行为类型。操作历史可以例如存储在移动的用户设备上或者根据用户身份被调取，例如通过访问诸如服务器的外部存储单元或者例如交通工具的内部存储单元。

此外，可以确定用户以哪种方式执行操作行为；例如可以确定一种类型的操作行为被识别的可靠性，和/或可以确定操作行为的执行质量。例如在动作的情况下，可以确定该动作能够以何种可靠性或者可信度被配置给确定的操作行为类型，以便尤其将该操作行为与其它操作行为类型区分开。此外，可以确定执行参数，例如明确性、速度或者执行空间。

如果操作行为类型包括在空间中执行的动作，则例如可以确定动作在空间中的哪个检测区域中被执行，例如操控对象的运动或姿势有多明确，以何种幅度或者速度进行运动或者在哪个时间段中保持确定的姿势。此外，不同的语音输入可用作操作行为类型。操作历史由此可以包括语音输入被识别的明确性和/或语音输入以哪种输入质量被检测，例如根据音量、说话方向、说话速度、重音或说话的发音。随即可以这样产生对执行潜在操作行为类型的提示，使得用户可以从输出内容中看到如何可以更好地执行潜在操作行为类型。

例如检测操作行为，将操作行为配置给操作行为类型并且根据检测到的操作行为更新针对所述操作行为类型的操作历史。此外，也可以在以下情况下更新操作历史，即检测到用户没有执行任何潜在操作行为类型的操作行为，尤其是在此没有执行优选操作行为类型。操作历史由此总是有利地保持是当前的，并且输出内容可以与用户的需要适配。

在这种情况下，例如可以用附加信息来补充操作历史，或者可以用更新的信息来更新现有信息。例如，可以更新用户使用操作行为类型的频率。此外，可以补充或更新与操作行为的执行质量相关的信息；例如可以改善用户执行确定的类型的操作行为的质量和/或明确性并且这可以被检测和存储在操作历史中。

在一种设计中，操作历史包括用户的或者针对确定的能操作的功能的预设的时间段或者预设数量的操作行为。操作历史也可以包括可变的时间段，其中，首先针对所述方法确定应该考虑操作历史的哪个范围。例如，当用户新学习操作时，可以考虑较短的时间段中的操作历史，因为在此可以预期在操作行为中具有较大改变。相反地，在用户熟悉操作系统的较长时间之后，可以考虑操作历史的较长时间段，以便根据更大的数据基础产生输出内容并且为用户提供更有针对性的支持。

根据操作历史例如可以将用户特别频繁地或者以能够良好识别的方式执行的操作行为类型确定为优选。相反，那些用户很少或者以难以识别的方式执行的操作行为类型不能被确定为优选。

此外可以检测到，用户执行的操作行为不能配置给潜在操作行为类型，例如因为用户使用了当前不能使用的操作行为类型，或者因为操作行为不能配置给已知的操作行为类型。例如尽管当前没有相应的输入可行，但用户执行了滑动动作，或者他不明确地执行了动作，例如幅度过小、过快或者过于不准确。随即可以识别出用户想要进行输入，但他似乎不知道哪些操作行为类型可用和/或如何正确地执行潜在的操作行为。

在一种扩展设计中，检测不能配置给潜在操作行为类型的操作行为，并且根据能操作的功能和检测到的操作行为确定意图假设。根据意图假设产生输出内容。由此可以有利地为用户建议更合适的操作可行性。尤其识别用户可能想要使用的操作行为类型。

输出内容则例如可以包括对应该如何根据意图假设执行潜在操作行为类型的提示。此外，可以产生输出内容，以便向用户显示哪些潜在操作行为类型当前可以执行和哪个是优选操作行为类型。

在确定意图假设时，例如可以确定和比较针对不同的潜在操作行为类型的概率，并且概率最高的操作行为类型可以用作意图假设。例如，可以根据与实际检测到的操作行为的相似性来确定概率；在这种情况下，例如即使没有足够明确地执行操作行为，也可以识别出操作行为类型。此外，操作历史可以用于确定用户对于能操作的功能特别频繁地使用的操作行为。相结合地，还可以借助加权确定哪些操作行为类型根据针对能操作的功能的操作历史被特别频繁地使用，以及这些操作行为类型中的哪个与实际检测到的操作行为特别相似。此外，可以考虑哪些潜在操作行为类型是可用的，并且可以选择这些操作行为类型中最可能的操作行为类型作为意图假设。尤其可以要求用户确认所述意图假设是实际想要的操作行为类型。

在其它设计中，检测相对于输入装置的用户位置并且优选操作行为类型根据所述用户位置包括对输入装置的操控或者空间动作。由此可以有利地特别容易地确定优选操作行为类型和/或操作模态。

例如可以检测用户在诸如交通工具的内部空间中的座椅位置。如果座椅位于内部空间中的较靠后的位置，即与输入装置例如触摸屏有较大的空间距离，则优选操作行为类型可以包括空间动作，而通过操控或接触所述触摸屏或者其它操作元件的操作不是优选的。在此，也可以检测用户的影响范围、例如手臂的长度，或者能够以影响范围的预定值为出发点，并且如果触摸屏或者操作元件处于用户的影响范围内，则对触摸屏或者操作元件的操控或者触摸在这种情况下可以是优选操作行为类型。

此外可以检测用户在内部空间中的定向、尤其是相对于确定的标记方向、例如行驶方向或者在交通工具纵向上向前或向后的方向的定向，并且在确定优选操作行为类型时考虑在内。例如可以确定视线方向或者座椅的定向。然后可以根据用户的定向确定优选操作行为类型。例如以这种方式能够确定，确定的操作元件是否布置在对于用户可以在人体工程学上到达的方向上，例如在用户之前而不是在他之后的区域中。

在一种设计中，检测选择操作行为并且根据检测到的选择操作行为确定能操作的装置。根据确定的能操作的装置确定能操作的功能。选择操作行为尤其设计为指示动作。由此可以有利地以特别简单和有针对性的方式选择能操作的功能。

例如，用户可以通过操控对象、尤其是手指、尤其借助确定的指示姿势指向交通工具中的装置，并且随即选择所述装置以进行操作。装置的可以在当前情况下通过操作行为来操作的功能被识别为能操作的功能。例如，通过指向推拉门可以选择所述推拉门，并且可以将移动或者滑动动作确定为潜在操作行为类型，通过所述移动或者滑动动作可以控制作为能操作的功能的门的打开或者关闭。与之类似地可以控制窗户、翻盖、照明装置和/或座椅调节装置。

在一种扩展设计中，所述输出内容以能够在视觉、听觉或者触觉上感知的方式被输出。输出内容由此可以有利地以特别容易检测并且良好地与相应的情况适配的方式输出。

输出能够以本身已知的方式进行，例如通过显示面或者扬声器。此外，可以例如通过全息的或自由立体(或者说裸眼3D)的显示输出三维显现的视图。

也可以根据用户在内部空间中的定向进行输出，尤其是通过用户视野中的输出装置进行视觉上可感知的输出。

尤其是以本身已知的方式进行输出。例如，可以通过屏幕输出视觉上可感知的输出内容，并且还可以使用能被照亮的显示内容，例如具有背光照射的符号。例如，可以通过扬声器输出听觉上可感知的输出内容。

输出尤其通过输出装置进行，该输出装置根据优选操作行为类型的操作模态确定。例如，当优选操作行为类型包括通过触摸操控触摸屏或操作元件时，以视觉可感知的方式进行输出。此外，例如如果优选操作行为类型包括语音指令，则以听觉上可感知的方式进行输出。在另一个示例中，如果确定用于视觉上可感知的输出的输出装置不在用户的视野中，例如因为用户看向不同的方向或者因为他的座椅这样定向使得坐在座椅上的用户的视线远离输出装置，则以听觉上可感知的方式进行输出。

按照本发明的用于检测对交通工具的装置的用户输入的操作系统包括控制单元以及与所述控制单元耦连的输出单元。在此，控制单元设置用于检测所述操作系统的能操作的功能，根据所述能操作的功能确定用于能操作的功能的第一和第二潜在操作行为类型，并且确定优选操作行为类型。在此，控制单元还设置用于根据所述优选操作行为类型产生输出内容并且借助输出单元将所述输出内容输出。

在此，输出内容包括操作对象，根据所述操作对象为用户显示优选操作行为类型。

根据本发明的操作系统尤其设计用于实施前述的根据本发明的方法。因此所述操作系统具有与根据本发明的方法相同的优点。

输出单元能够以不同的方式设计。例如，输出单元可以包括显示面，在输出期间可以在所述显示面上输出图形视图。输出单元还可以包括用于输出可以在声学上检测到的输出内容、尤其是语音输出内容的装置。输出单元也可以适用于产生具有三维视图的输出内容，例如作为全息或自由立体的输出内容。

根据本发明的操作系统的一种设计包括设置用于检测用户的用户身份的识别装置。在此，控制单元也设置用于检测针对被识别的用户的潜在操作行为类型的操作历史。输出内容由此可以有利地以特别有针对性的方式与相应用户的需要适配。

此外，根据本发明的操作系统的一种设计包括用于检测操作行为的检测单元，所述检测单元尤其具有用于在检测区域中检测动作的摄像机、触摸敏感表面和/或语音检测单元。由此可以有利地简单地检测不同的操作行为类型，以控制操作系统。

根据本发明的交通工具包括根据本发明的操作系统。

现在参照附图根据实施例阐述本发明。

图1示出具有根据本发明的操作系统的一个实施例的交通工具，

图2示出根据本发明的方法的实施例，

图3示出在根据本发明的方法中产生的输出内容的实施例，所述输出内容具有对实施操作动作的提示，

图4示出在根据本发明的方法中产生的输出内容的实施例，所述输出内容具有对不同方向的提示，

图5示出在根据本发明的方法中产生的输出内容的实施例，所述输出内容具有用于音量调节的弹出窗口，

图6A和6B示出在根据本发明的方法中产生的输出内容的实施例，所述输出内容具有对实施操作动作的提示，

图7示出在根据本发明的方法中产生的输出内容的实施例，所述输出内容具有用于控制照明装置的弹出窗口并且

图8A到8D示出在方法中产生的输出内容的实施例及其在不同操作模态下的操作。

参照图1阐述具有根据本发明的操作系统的实施例的交通工具。

交通工具1包括触摸屏2，所述触摸屏以本身已知的方式设计并且包括显示单元3和布置在所述显示单元上方的触摸敏感表面4。交通工具1还包括设计为摄像机5的检测单元5，通过该摄像机可以在交通工具1的内部空间中的检测区域7中检测动作，以及包括设计为扬声器6的输出单元6。触摸屏2、摄像机5和扬声器6与控制单元8耦连，多媒体单元9也与所述控制单元8耦连。

参照图2和图3阐述根据本发明的方法的实施例以及在此产生的输出内容，所述输出内容具有对实施操作动作的提示。在此，以上面参照图1阐述的根据本发明的操作系统的实施例为出发点，通过对方法的描述进一步说明所述操作系统。

在步骤S1中，检测当前可以操作哪些功能。为此确定哪些装置当前可以由控制单元8控制并且处于可以处理用户输入的状态。在本实施例中，可以操作多媒体单元9的功能，例如用于输出视听内容、文本和图像、用于控制导航设备、用于访问交通工具1的其它装置或者用于控制电信装置例如电话的功能。在此，用户还可以浏览分级排序的数据库、例如音乐标题或地址数据，或者菜单结构。在其它实施例中，作为备选或补充，交通工具1的其它功能和/或装置可以是能操作的。

在该步骤S1中，在本实施例中还检测用户的身份。这在本实施例中根据配属于用户的移动设备、尤其是车钥匙来实现。在其它实施例中，可以根据移动电话进行识别，确定该移动电话在交通工具1中的确定交通工具座椅、例如驾驶员座椅的区域中的位置并且将所述移动电话配置给确定的用户。识别还可以根据用户输入、例如通过使用触摸屏2经由登录的输入来进行。

在进一步的步骤S2中，根据所述能操作的功能确定潜在操作行为类型，也就是确定用户可以执行哪些类型的操作行为，以便执行确定的输入以操作所述能操作的功能。在本实施例中，首先确定不同的操作模态，例如在检测区域7中的三维动作、在触摸敏感表面4上的动作、语音指令和/或对物理的操作元件的操控，所述操作元件例如是按键开关、按压开关和旋转开关、滑块和旋转调节器或者按钮。

在进一步的步骤S3中，确定优选操作行为类型，其中，在本实施例中，将优选操作模态的确定的优选操作行为类型的操作行为类型确定为优选。这意味着确定哪些操作行为类型在当前情况中特别适合或者特别适合用于确定的能操作的功能。

在本实施例中，为此确定用户所在的交通工具座椅的位置。为此首先可以例如通过座垫或者探测装置确定用户实际处于哪个交通工具座椅上，此外，可以将确定的交通工具座椅配置给操作系统或者交通工具1的确定的能操作的装置9。在本实施例中的出发点是，交通工具1的驾驶员被视为用户并且处于驾驶员座椅上。交通工具座椅的确定的位置可以配置有不同的操作模态作为优选。如果例如在自动驾驶期间驾驶员座椅处于向后移动的位置中，交通工具1的仪表板上的操作元件远离该位置，则可以将不需要操控布置在仪表板上的操作元件的操作模态确定为优选；例如在这种情况下，可以优选通过语音指令或者三维动作进行控制。

作为备选或补充，在另一实施例中，可以针对确定的输入确定哪些操作行为类型需要最少的体力或者允许尽可能快地操作。例如，滚动列表可能需要多次操控物理的或者虚拟显示的按钮，而使用滑动动作沿着触摸敏感表面4或者在检测区域7中的模拟操作可以更快且更省力地进行。在另一个示例中，可以使用语音指令特别快速地跳转到列表的确定条目，而使用键盘输入条目需要多次操控。

在其它实施例中，可以作为备选或补充使用其它参数来确定优选操作行为类型或者操作模态，例如手动或者至少部分自动的驾驶模式、正在行驶的道路类型、地理环境或者针对被识别的用户或者交通工具1的驾驶员的偏好、设置和输入。

在进一步的步骤S4中，检测针对所识别的用户的操作历史。在本实施例中，操作历史包括以下信息，即用户在过去针对确定的能操作的功能借助哪些操作行为类型的操作行为执行了输入。所述信息还包括关于用户以哪种方式实施了操作行为的信息，例如根据确定的操作行为类型的操作行为的输入被识别出的效果如何，以及改变地执行操作行为将在多大程度上改善可识别性。这意味着操作历史包括关于用户在过去是否使用了确定的操作行为类型的操作行为来执行确定输入的信息，以及他是如何执行这些操作行为的信息。

例如，用户在过去不精确地执行了确定的操作行为类型的操作行为，例如由于他以过高的速度、在过短的路程上和/或不够笔直地在三维空间中执行了滑动动作。这在过去导致以较低的置信度实现了滑动动作的识别，其中，例如滑动动作的幅度或者其方向只能以较低的准确度被确定。在另一个示例中，用户在过去含糊不清、声音太小或太快地说出语音指令。在另一个示例中，用户在操控触摸屏2上的虚拟操作元件时触摸了操作元件边缘上的区域，从而无法清楚地区分所述输入与对相邻操作元件的操控。

在本实施例中，这样检测操作历史，使得所述操作历史包括预设数量的用户输入。在其它实施例中，可以预设确定的时长，或者可以在执行方法期间可变地确定所考虑的操作行为的数量。

如果根据检测到的操作历史确定，用户正常地使用优选操作行为类型进行操作并且以能够明确识别的方式执行相应的操作行为，则在进一步的步骤S5中检测操作行为，产生相应的控制信号并且控制交通工具1的装置。

相反地，如果确定用户很少或者从未使用过优选操作行为类型，或者用户没有最佳地执行优选操作行为类型的操作行为，则在步骤S6中产生并且输出带有对执行潜在操作行为类型的提示的输出内容。

应该让用户清楚，他例如根本没有执行或者不正确地执行潜在的动作，或者他可以用更少的体力来执行操作。现在单独地在相应情况下这样产生输出内容，使得没有被用户执行、不正确地执行或者没有最佳执行的操作行为类型、例如确定的动作被提示。

在该示例中，如果在人机界面的操作的确定位置处没有使用确定的动作，则在这些位置处向用户显示例如示意性的手，所述示意性的手呈现了尚未使用的动作类型的执行。如果确定的动作类型的动作执行不正确或未最佳执行，则识别出意图执行的动作并且同样显示示意性的手，所述示意性的手显示了运动中的正确的或更省力的动作执行。

在其它示例中，正确的动作执行以不同的方式显示。因此例如借助全息或自由立体的显示，可以在显示器之前的空间中显示三维的手或者在其它检测区域中显示正确的动作运动。所述方法的一种可能的扩展在于，除了视觉显示之外还用语音输出来补充视觉建议。因此对于从未在确定操作情况下执行、但用户在其它位置处正确执行并且熟悉的动作可以通过语音输出来输出提示；如“你也可以在此执行挥动动作”。在动作执行不正确或者没有最佳执行的情况下，可以输出用于执行和改进的语音提示；如“你必须在最后非常短暂地保持动作”或者“你不必将手臂移动那么远”。由此可以更有针对性地解决执行操作行为类型的问题，并且可以模仿与自然对应物的自然交互。

此外，当检测用户的身份时，可以根据钥匙或者根据生物特征单独处理不同用户的动作操作和使用。例如在进入交通工具时系统已经根据操作历史识别出用户在确定的操作情况下没有执行确定的动作。通过这种方式，系统还可以识别出用户在过去就已经在正确执行确定的动作或者用很少的体力执行确定的动作方面存在问题。系统随即可以针对用户实现个性化的支持以最佳地进行动作操作。

图3示出了具有对执行潜在操作行为类型的提示的输出内容的示例。对于在该处示例性地显示的情况，优选操作行为类型是三维空间中的滑动动作，通过该滑动动作可以在用户界面20内移动不同的图形对象22至25，尤其是用于将元素置于前景中，选择所述元素并且接下来进一步操作所述元素。对这种滑动动作的提示在此设计为示意性地以轮廓示出的手21。在此动态地形成输出内容，即示意性示出的手21以需要在三维空间中执行所述滑动动作的方式运动地显示。然而，在所述实施例的用户界面20中也可以通过非优选的操作行为以不同的方式操作，例如通过操控箭头键、通过沿触摸敏感表面4的滑动动作，通过语音指令或者通过操控物理操作元件、例如旋转按压调节器。

在本实施例中，还根据用户如何能够改进他对优选操作行为类型的操作行为的执行形成输出内容，也就是特别清楚地显示了需要改进的执行方面。例如可以特别清楚地显示在执行动作期间的手部姿态，同样可以显示例如在特别长的路程上的运动的速度或幅度。

在另一个实施例中，通过输出文本或者说文字提示来显示对执行潜在操作行为类型的提示。在其它实施例中，输出可以通过全息或自由立体的显示进行，以便尤其显示三维动作。在其它实施例中，作为备选或补充，输出内容可以是能够在听觉上感知的，例如通过对执行优选操作行为类型的口头提示。输出尤其可以通过输出模态进行，所述输出模态提示优选操作模态，例如通过借助语音指令输出能够在听觉上感知的操作提示或者通过突出显示可操控的物理或虚拟显示的操作元素，例如通过亮度、颜色或动态效果、如闪烁。

在输出之后，在另一个实施例中，在步骤S5中可以将用户的操作行为检测为输入并且产生相应的控制信号，以便操作交通工具1的装置9。该操作也可以通过非优选操作行为类型的操作行为实现。

根据检测到的操作行为更新操作历史。

在根据本发明的方法的另一个实施例中，检测到用户的操作行为、例如在检测区域7中的动作或者语音指令，然而其中，不能将交通工具1的装置9的当前可用的操作配置给该操作行为。这可能是由于未正确地识别操作行为并且配置给了错误的操作行为类型，或者用户执行了不可用的操作行为类型的操作行为，例如因为他不知道哪些操作行为类型当前可用或者如何执行所述操作行为类型。确定意图假设，即系统形成关于用户之前可能意图执行哪种操作行为类型的假设。随即产生输出内容，所述输出内容具有对根据意图假设意图执行的操作行为类型的提示。

例如可以将与检测到的操作行为最相似的操作行为类型确定为意图假设。在此还考虑哪些潜在操作行为类型当前实际可用。此外，根据操作历史，可以考虑用户优选使用的操作行为类型，或者可以确定检测到的操作行为是否与在过去检测到的、其中用户未最佳地执行确定的操作行为类型的操作行为具有特别的相似性。

例如可以将语音指令检测为操作行为，所述语音指令与潜在操作行为类型具有语音或语义的相似性，然后将其确定为意图假设。在另一个示例中，可以将三维动作检测为操作行为，其具有当前没有规定的方向、例如垂直方向而不是水平方向，其中随即将具有水平方向的操作行为类型确定为意图假设。

在另一实施例中，还根据操作历史和/或检测到的操作行为来执行学习过程，其中，对操作行为类型的识别由系统改进。为此可以应用本身已知的方法、例如机器学习。以这种方式，在所述方法中既识别用户的学习需要，使该用户能够最佳地应用优选操作行为类型，也识别系统的学习需要，针对所述系统为用户改善对确定的操作行为类型的识别。

在另一实施例中，在检测区域7中检测用户的指示动作，并且基于检测到的指示动作确定方向。确定用户指向交通工具1的哪个装置9并且选择该装置9。随后检测到的操作行为被视为对所选择的装置9的操作，也就是根据所述操作行为产生用于所选择的装置9的控制信号。例如，用户指向交通工具1的滑动门并且通过在一个方向上的移动或滑动动作自动地打开或者关闭滑动门。在另一示例中，用户指向交通工具1的能够输出图像数据或者用户界面的显示器，其中，随后的操作行为被视为对输出内容或者用户界面的操作。以这种方式，可用的操作行为类型的数量可以被限制为针对确定的装置9的相关操作可能性。

参照图4阐述在根据本发明的方法中产生的输出内容的实施例，所述输出内容具有对不同方向的提示。在此以根据本发明的操作系统和方法的所阐述的实施例为出发点，它们由其它的实施例进一步说明。

根据所述实施例的输出内容40包括箭头41至46，它们分别表示空间方向并且部分地设计为双箭头。借助箭头41至46来输出：潜在动作在哪些空间方向上可以作为操作行为被执行。取决于具体的操作情况并且取决于设置有哪些通过动作执行的潜在操作行为类型，在输出内容40中同时显示一个箭头或多个箭头41至46。箭头41至46还可以叠加地作为对任何其它图形视图的补充在输出内容40内产生。

在其它实施例中，还可以附加地输出在执行动作期间是否以及以哪种方式执行具有确定的手部姿态的动作，例如张开或者闭合的手、向上、向下、向前或者向后指向的手掌、伸展或弯曲的手指或者手在空间中的定向。这可以通过附加的图形对象或者箭头41到46的特定设计来输出。此外，代替箭头41至46，可以将图形对象的不同视图用于输出，例如诸如手的操控对象，尤其是示意性地通过轮廓输出。所述视图还可以动态地产生。

在本实施例中，向上的箭头41和向下的箭头42表示包括从上向下的运动的动作。例如，借助这样的动作可以实施沿竖直方向向上或者向下的滚动或者图像滚动。此外，向右的箭头43和向左的箭头44表示具有朝向相应的侧面的运动的动作。例如可以借助这种动作实施翻页或者向一侧的移动。包括平行于输出内容40的表面的运动的动作尤其称为滑动动作或者挥动(Swipe)动作。

此外设置有以透视方式显示的向后的箭头45和向前的箭头46，也就是尤其朝向或远离输出内容40的显示面。这些箭头45、46尤其透视地显示，其中，这样使用图形显示的本身已知的方法，使得对于输出内容40的观察者这样形成空间印象，使得向后的箭头45或者向前的箭头46进入输出内容40的平面并且因此远离观察者地指向或者从输出内容40的平面指出并且因此朝向观察者地指向。

在其它实施例中，可以想到其它的箭头形状，尤其是直线或者弯曲的走向，通过所述走向例如提示具有确定轨迹的动作的执行，例如圆形路径或者圆弧段。此外，在另外的实施例中，输出内容可以这样形成，使得通过所述输出内容来提示：操控对象的姿势应该在动作、例如挥动或者其它运动的执行的开始和/或结束时保持更长或更短的时间。以这种方式例如可以标记用于借助动作的输入的运动的结束。

在本实施例中，将成套动作用于动作操作，所述成套动作只限于确定的操作行为类型、即确定的动作类型。尤其这样形成所述成套动作，使得能够实现信息娱乐系统的完整的可操作性。通过这样的成套动作能够操作整个系统、尤其是划分等级的数据和操作层级，而不是只操作各个单独的情景内的部分。这样的成套动作尤其包括一目了然的数量的动作，以便用户可以记住这些动作。同时，这样的成套动作的动作以这样的方式形成，使得它们可以特别清楚地相互区分并且可以容易地例如通过摄像机检测。

在本实施例中，成套动作合包括五个基本动作。参照图4阐述具有图形对象41至46的图形显示，通过该图形显示可以输出对基本动作的提示。

在“挥动，水平地”动作中，手尤其以直立姿态在水平方向上向右或者向左地运动，尤其是相对于例如在显示面上或者在输出内容40内输出的操作对象运动。在动作结束时保持手的姿势尤其实现持续的功能，例如方式为检测持续的操控。在“挥动，竖直地”动作中，手以平的或者卧式的姿态在竖直方向向上或者向下运动，尤其是相对于操作对象运动。在此，在动作结束时保持手的姿势尤其也可以实现持续的功能，例如方式为检测持续的操控。在“OK”动作中，手以手掌向上运动，其中，指尖尤其指向操作对象的方向，所述操作对象例如显示在屏幕上。在“停止”动作中，手以张开的姿态并且以手掌朝向操作对象地运动，尤其是朝操作对象的方向运动。在此，也可以在动作结束时保持手的姿势并且检测为持续的操控。最后，在“音量”动作中，食指可以指向操作对象并且例如沿侧向的方向运动。为了更容易记住，提到的大多数基本动作都可以分别在相反的方向上成对地执行。例如借助挥动动作能够向右和向左或者向上或向下地滑动。例如为了到达确定的层级或者确定的菜单或者为了确认请求而对操作对象的选择或者操控通过朝向身体的运动实现，离开层级或菜单或者拒绝请求通过远离身体的方向相反的运动实现。

这些成对的动作用于实现贯穿多个分层排列的菜单或者其它层级的完整导航，并且对应于三维空间中的三个空间方向。由此按照所有三个维度充分利用空间动作的可能性。与具有二维操作(例如通过触摸屏)的已知操作相比，这个附加的维度能够实现内容的更好结构化并且在更大程度上对应于用户的空间思维方式。

所提到的用于贯穿菜单或者分层排列的元素的导航的基本动作尤其遵循的原则是，不必事先在屏幕上例如通过指向确定对象的指示动作选择要操作的元素。相反，尤其总是有输出内容的一个元素已经被选择。然后将动作评估为与该元素直接相关的输入。例如可以针对显示在显示面中间并且已经自动被选择的操作对象直接执行“打开”过程，例如通过“OK”动作执行。为了选择操作对象，在此可以使用挥动动作将所述操作对象移动到显示面的中间或者其它自动的选择区域中。尤其在交通工具中，这具有的优点在于即使例如驾驶时的振动使精确导航变得困难也可以可靠且容易地选择内容，这与例如使用光标或触摸屏的已知操作不同。

在上述成套动作中还规定，系统的音量或者其它参数通过相应的“音量动作”来调节。例如，用户以伸出的食指或操控对象指向操作对象或者显示面的方向。音量调节可以通过以下方式显示，即音量显示作为弹出窗口显示，其中，可以通过手指的侧向运动来调节音量水平。在此，音量显示尤其跟随手指的运动并且音量被增大或减小。

此外，可以定义选项动作，所述选项动作不用于菜单导航，而是用作用于调用确定的功能的快捷方式。尤其设置有三个选项动作，即用于直接跳转到主屏幕(停止动作，最后形成拳头)、用于调用显示和讲解动作及其功能的教程(挥手)以及用于将声音播放切换至静音(张开的手向下运动)。在本实施例中，选项动作与它们被执行时所在的相应的情景无关地总是导致调用相同的功能。

参照图5阐述在根据本发明的方法中产生的带有用于音量调节的弹出窗口的输出内容的实施例。在此以根据本发明的操作系统和方法的所阐述的实施例为出发点，它们由其它的实施例进一步说明。

根据所述实施例的输出内容50包括图形对象51，所述图形对象在此代表当前播放的媒体文件，以及包括音量操作对象51，所述音量操作对象作为弹出窗口叠加在输出内容50的其它元素上地输出。音量操作对象51包括音量符号52和标尺对象54，所述标尺对象54设计为水平的直线，其中，音量的不同值、尤其是从左向右增加的音量配属于纵向延伸的不同位置。指示对象53、在此为实心圆布置在标尺对象51上，其中，指示对象53在标尺对象51上的位置显示当前设定或者说调节的音量值。

在本实施例中，如果在由图形对象55显示的媒体文件播放期间，用户将其伸出的食指指向输出内容50并且执行水平运动，则用户到达所显示的输出内容50。根据食指的运动、尤其是与所述运动成比例地，指示对象53在输出内容50中沿着标尺对象51移动，并且以相同的程度改变音量的设定值。

在本实施例中，还可以通过对输出所述输出内容50的触摸屏2的触摸来操作音量操作对象51。用户例如可以触摸指示对象53并且通过沿着触摸屏2的滑动动作将所述指示对象沿着标尺对象54移动。他还可以通过触摸确定位置的标尺对象54调节形成配属于该位置的音量值，其中，指示对象53被移动到触摸的位置。

以上描述的借助伸出的食指在输出内容50的方向上的指示动作和之后的沿水平方向的运动在本实施例中尤其称为“音量动作”。在此尤其指的是可以在本实施例中与当前输出的情景无关地应用的选项动作。这意味着与在输出内容50中输出什么无关地，可以借助音量动作显示和改变当前调节的音量。这简化了操作，因为必须调用确定的情景或内容以改变音量。

在所述示例中，音量动作以及其它的选项动作尤其可以在任何情景中使用，也就是与正处于激活的显示或者当前选择的操作对象无关。例如，用于音量调节的音量动作和用于切换至静音的动作影响正处于激活的声学情景的音量，例如类似于本身已知的例如使用旋转调节器的模拟音量调节器。

在本说明书中阐述的根据本发明的方法的实施例中，可以使用不同的操作模态以操作功能。在此，尤其确定优选操作模态，它们根据具体情况指示能够以哪种方式特别有利地进行操作。例如可以借助优选操作模态特别安全、快速地、耗费较少体力地和/或对用户的注意力没有过度要求地实现操作。

可能的操作模态是例如在触摸表面或者操作对象期间对动作的操控或者执行、三维空间中的动作、对模拟操作元件例如开关、按键或者调节器的操控、语音指令、对遥控器的使用或者与语音指令结合的动作操作。

例如可以完全通过不同的模态实现信息娱乐系统的操作，以便为用户提供个人偏好的操作模态。因此一些用户原则上更优选语音操作，其它用户更优选动作操作。用户由此还可以根据情况自由选择一种或者其它的模态，例如用动作代替语音，以免打扰熟睡的乘客。此外，在该示例中向用户建议哪种操作行为类型和/或哪种操作模态现在针对当前能操作的功能最适合。优选操作模态是在本实施例中根据以下逻辑确定：

动作操作可以特别在以下情况下是优选操作模态，即存在无法具体命名的“模糊的”操作目标，也就是用户例如执行搜索或者浏览(browsing)一系列对象，以及例如特定目标的精确命名的输入比较复杂。此外，动作操作可能在短时间交互中是优选的，或者如果在确定情况中语音上的打断是干扰性的，则动作操作可能是优选的。动作操作可能对于空间上的选择或者空间上的操作是优选的。

如果可以清楚地命名操作目标，例如如果用户可以轻易地说出需要操作的功能或者装置的名称，则借助语音指令的操作可能是特别有利的。用户还可以借助语音指令以特别简单的方式跳过多个层级，而无需首先进行较长的搜索。此外，可以规定自然语言的输入。

如果需要确保用户特别熟悉的操作，则通过遥控器进行操作可以是优选的。

如果需要与名称不清楚或者复杂的单元进行交互，或者如果需要避开用于激活语音控制的特别的操作行为、例如按下按键部分或者确定的代码字，则借助动作和语音指令的组合的操作可能是优选的。

在该示例中，在需要执行搜索或浏览时动作操作被确定为优选操作模态，例如用于搜索姓名或地址，或者用于在电影或音乐标题的列表中执行搜索。此外，动作操作对于短时间交互是优选的，例如接听电话、对在空间上最容易选择或者其名称未知的操作部件或者环境元素的操作，以便例如操作确定的窗口或者调节确定的照明装置，以及在通过语音指令的中断会产生干扰、例如在电话通话期间或者乘客会受到打扰时。

尤其是，尽管在系统的示例中支持针对一种操作的多个操作模态，但在输出内容中提示了相应最合适的操作类型。

例如提示用于接受打入的呼叫(或者说来电)的动作操作，方式为针对不同的操作选项的视觉元素以类似于如何执行配属的操作动作的方式动态地运动地显示。尤其显示操作元件的朝向需要执行相应动作的方向的运动。然而，同时在所述示例中，操作元件本身也可以被操作，例如通过触摸操作元件的区域中的显示面。在其它的示例中，还可以规定语音操作的可能性；然后例如通过再现相应的语音指令的显示文本或者通过用于语音控制的符号来输出对相应可能性的提示。

参照图6A和6B阐述在根据本发明的方法中产生的带有对执行操作动作的提示的输出内容的实施例。在此以根据本发明的操作系统和方法的所阐述的实施例为出发点，它们由其它的实施例进一步说明。

在图6A所示的情况下，根据实施例的输出内容60包括弹出窗口61，该弹出窗口61叠加在输出内容60的其它元素上地输出。在弹出窗口61的区域中输出有关打入的呼叫的信息，尤其是呼叫者的姓名和个人资料图像，其中，该信息配属于数据库，所述数据库具有联系人和配属的附加信息。弹出窗口61还包括用于接受打入的呼叫的操作元件62和用于拒绝打入的呼叫的其它操作元件63。

在本实施例中，可以通过点击动作来操作所述操作元件62、63，其中，用户短暂地接触相应的操作元件62、63的位置处的触摸屏2，以便执行相应配属的功能。此外，在本实施例中规定了动作操作。在该示例中，确定动作操作代表优选操作模态，即用于接受或者拒绝呼叫的操作优选地通过分别配属于这些功能的动作来执行。在本实施例中，这种优选是由于用户的座椅位置远离触摸屏2并且因此只能较难地触摸到所述触摸屏。

用于接受或者拒绝呼叫的动作通过以下方式输出，即动态地显示操作元件62、63。这在图6A中通过动态对象64、65说明。为了接受呼叫，用户应该执行动作，在该动作中用户的手在垂直于输出内容60的平面的方向上远离输出内容60地运动，例如相应于“挥来”、“拉来”或者“获取”的动作。相反地，为了拒绝呼叫，用户应该执行动作，在该动作中用户的手在垂直于输出内容60的平面的方向上朝向输出内容60地运动，例如相应于“推开”、“拒绝”或者“回绝”姿势。相应的操作元件62、63这样动态地且透视地显示，使得它们看起来在对应于动作的相应运动的方向上具有运动。

在其它实施例中，输出内容60借助三维显示技术产生，例如借助自由立体或者全息的显示产生。

因此在图6A所示的情况下产生动画的输出内容，所述输出内容包括用于接受和拒绝呼叫的操作元件，其中，操作元件朝需要执行的动作的方向运动地显示。通过透视图显示了操作对象远离驾驶员或者朝向驾驶员的运动，其中，红色(拒绝)和绿色(接受)的圆通过显示许多更小或更大的圆而看起来在显示器中在空间上运动。

在图6B所示的情况下，输出内容60包括背景视图66，所述背景视图在此相应于视频文件的播放。输出内容60还包括操作元件67、68、69a、69b，所述操作元件与图6A的情况下的操作元件62、63类似地既可以通过触摸所述触摸屏2来操控，也可以用于输出对潜在操作动作的提示。在本实施例中，所述操作元件67、68、69a、69b尤其在已经检测到操作意图时被显示，例如在操控对象进入检测空间7时或者在触摸屏2被触摸时显示。

如上面已经参照图6A所阐述的，操作元件67、68、69a、69b在此也动态地显示。所述操作元件显示与潜在操作动作的运动相应的运动。例如，操作元件67设置用于停止播放并且设计具有相应的符号。操作元件67也以动画的形式这样显示，使得它看起来远离用户。因此，相应的用于停止的操作动作包括朝向输出内容60的运动，例如相应于“按压”动作。此外，在本实施例中，用于调用情景菜单的操作元件68向下运动地显示，并且相应的操作动作包括向下滑动。用于倒放(操作元件69a)或者快进(操作元件69b)的操作元件69a、69b以动画的形式显示为具有向左或者向右的运动，这在此也对应于相应的操作动作、尤其是滑动动作的运动。

在其它实施例中，操作动作还能够以其它方式设计或者以不同方式组合。所规定的动作尤其是基于以上参照图4阐述的成套的基本动作，可选地由同样在以上阐述的选项动作补充。

在该示例中，借助动作操作不只贯穿菜单层地导航，而且情景也被操作。由于情景不同，设置有不同的功能。如以上参照图6A和6B所阐述的那样，例如可以接受或者拒绝打入的电话。此外，当前正在播放的电影可以在两个方向上被训练或者暂停。此外，可以选择情景菜单，以便设置附加选项，例如字幕或者语言。各种必要的功能通过以上阐述的成套动作来操作，其中，例如拒绝电话是通过与暂停电影相同的停止动作来完成的。为了让用户知道哪些操作选项在哪些情景中可用，根据情景向用户显示哪些动作是可行的以及它们分别具有哪些功能。此外也可以输出哪个是优选操作模态。

在用于打入的呼叫的实施例中，示出两个显示为“气泡”的操作对象62、63，在电影的示例中，多个操作元件67、68、69a、69b显示为气泡。这些气泡分别包含符号并且可选地包含颜色，由此输出功能。例如红色的听筒符号代表结束通话或者暂停符号代表暂停。气泡还在需要执行相应动作的方向上运动，即向右或者向左、向上或者向下、或者透视地朝向或者远离用户地显示。

在显示方案中，向用户提示动作控制的可用的操作行为类型或者其它优选操作行为类型，方式为针对情景特定地显示所述可用的操作行为类型或者其它优选操作行为类型。由此减少了用户在记忆上的耗费并且减少了不期望的操作的数量。

以上参照图6A和6B描述的视图特别适合于以能够容易和直观地理解但不是非常显眼和难看透的方式信号化地通知用户，他在相应的操作情况下具有哪些操作可行性。作为备选或者补充，可以使用其它输出内容，以便要求用户使用确定的操作动作。例如可以输出以上参照图4描述的箭头41至46，然而其中，经常感觉这样的附加对象是干扰性的。相反地，也可以在没有附加图形对象的情况下输出元素沿动作方向的在空间上显示的运动，从而不会使输出的用户界面过于拥挤。

参照图7阐述在根据本发明的方法中产生的具有用于控制照明装置的弹出窗口的输出内容的实施例。在此以根据本发明的操作系统和方法的所阐述的实施例为出发点，它们由其它的实施例进一步说明。

根据本实施例的输出内容70包括在此代表当前播放的媒体文件的图形对象75和叠加在输出内容70的其它元素上输出的弹出窗口71。弹出窗口71包括亮度符号72和用于打开或者关闭照明装置的操作元件73、74。

在本实施例中，如果用户在由图形对象75显示的媒体文件播放期间将他伸出的食指指向交通工具1的装置并且在预设的时间中保持该指示动作，则用户到达所显示的输出内容70。相应于食指的方向确定用户指向交通工具1的哪个装置，在本实施例中是照明装置。然后产生弹出窗口71，所述弹出窗口包括提示可行的操作的操作元件73、74。在本实施例中，在此还存在不同的潜在操作模态，尤其是在操作元件73、74的区域中触摸所述触摸屏2或者语音指令。在本实施例中，优选通过语音指令进行进一步操作，为了执行语音指令，所述操作元件73、74设计为文本元件。由此向用户显示他可以借助哪些语音指令操作所述装置。

作为对此的补充，在本实施例中还可以通过其它的指示动作来执行操作，其中，用户指向弹出窗口71内的操作元件73、74之一，以便操控所述操作元件并且触发与所述操作元件相关联的功能。此外可以规定，所述操作可以通过其它操作动作执行，例如向下滑动以关闭或者向上滑动以打开。

因此在图7所示的实施例中，可以优选地通过动作结合语音指令来执行操作。这个操作模态在以下情况下被确定为优选，即需要操作交通工具的装置，而无需为此使用确定的唤醒短语来激活纯语音操作。在该示例中，用户指向需要操作的装置，该装置在本示例中是交通工具的内部空间中的灯。然后他通过语音指令继续操作。为了在指示动作之后向用户显示可以执行语音操作，显示带有可行的语音选项的弹出窗口。

参照图8A至8D阐述在所述方法中产生的输出内容的实施例及其在不同操作模态下的操作。在此以根据本发明的操作系统和方法的所阐述的实施例为出发点，它们由其它的实施例进一步说明。

在图8A所示的情况下，操作系统处于靠近模式，即用户的座椅布置在触摸屏2的影响范围(或者说触手可及的范围)内。输出内容80包括多个微件81，这些微件81以矩阵的方式彼此并排地并且相叠地布置。在该实施例中，靠近模式中的优选操作模态是通过触摸所述触摸屏2进行的操作和必要时沿着触摸屏2的触摸表面的动作。

在图8B所示的情况下，交通工具1的自动驾驶模式被激活并且现在不再需要手动干预交通工具控制的用户的座椅被向后移动。触摸屏2由此难以触及，因此操作模式切换到距离模式。优选操作模态现在是在三维空间中、尤其是在交通工具1的内部空间中的检测区域7中借助动作的操作。当改变操作模式时，输出内容80也改变，因此显示内容现在针对新的优选操作模态优化。

这意味着，在本实施例中，操作系统既可以通过触摸板也可以通过动作来操作。在至少部分自动的驾驶模式中、尤其是在自动化程度为4级或者5级的情况下，驾驶员座椅尤其被向后移动，以实现更大的座椅舒适度，但由此也由于显示器的不可触及性使得在仪表板上的操作更加困难。在这种情况下应该将动作操作提供为优选操作模态。为此必须适配显示方案，因为不是所有显示内容都良好地适用于动作操作。此外，由于座椅距离较大，显示太小的内容将难以看到。

在该示例中，针对远离显示器的座椅位置，在“距离模式”中显示针对动作操作优化的显示内容。在此，在该示例中只同时显示三个“情景”，在本实施例中设计为图块(Kacheln)、微件或者窗口。它们显示得足够大，以便可以从更远的距离被识别出。

由于在通过动作的操作时显示内容的更简单的结构是有用的，所以输出内容80的对象82、83现在并排地布置。在此，布置在中间的对象82总是被自动地选择，而其它对象83布置在它旁边。此外在本实施例中，选择的对象82被突出显示，方式为以更大的面积、特别的边界并且相对于其它对象83以更大的亮度输出所述选择的对象。

这意味着在距离模式下显示时，这些情景布置在一行中，而对于触摸操作，它们布置在多行中。中间的情景或者中间的图块始终处于焦点中，这意味着它始终被自动地选择，并且在视觉上更大、更亮且突出地显示。因此可以立即操作该情景，以便例如开始播放显示于其中的电影，而无需事先选择情景。在其它实施例中，情景布置在多行中并且在打开或者激活之前通过诸如指示动作之类的动作来选择。

在图8C所示的情况下显示，用户如何通过用他的手84沿通过箭头85显示的方向实现的侧向滑动动作进行输出内容80中显示的图形对象的移动。在此，选择的对象87侧向地从中间移出并且其它对象86移动到它现在被自动选择的位置。在本实施例中规定，除了在三维空间中的侧向滑动动作之外，还可以使用沿着触摸屏2的触摸敏感表面的滑动动作和/或者语音指令来移动所述对象86、87。

在图8D所示的情况下，从中间显示的情况开始，显示贯穿分级排列的数据库或者菜单结构的导航。此外，信息娱乐系统的内容可以分级地结构化。用户可以对当前居中显示并且因此被自动选择的对象82这样执行操作，使得所述对象被激活或者打开，或者切换到较低的层级；为此可用的潜在操作行为类型通过提示88显示，所述提示也能够以类似方式在输出内容80内显示。此外，用户可以针对选择的对象82停止一个过程或者切换到较高的层级；为此可用的潜在操作行为类型通过提示89显示。

为了激活或者打开情景或者切换到较低的层级，提示88显示了借助三维手势操作的可行性，其中，手掌指向用户并且执行朝向用户的运动。作为备选或者补充，可以使用语音指令“OK”。相反地，用于停止或者切换到较高层级的提示89显示对三维手势的提示，其中手掌指向触摸屏2或者输出内容80并且执行朝向输出内容80的运动。作为备选或者补充，可以使用语音指令“停止”。

图8D还示出数据库的层级之间的过渡是如何显示的：从中间所示的原始情况开始，当根据提示88、例如用“OK”动作操作时，选择的对象82被放大并且其它对象83被挤出视图。因此，所述视图对应于选择的对象82接近用户或者对应于从用户的视角朝向选择的对象82的运动。然后以与在图8D中间所示相同的方式显示较低层级的其它对象，即自动地选择中间的对象并且其它对象布置在其旁边。相反地，当根据提示89、例如用“停止”动作操作时，选择的对象82缩小，其中，其它对象83也能够缩小。这与以上阐述的情况相反地对应于选择的对象82相对于用户的远离或者用户看上去远离选择的对象82。

输出内容80尤其这样产生，使得选择的对象82和其它对象83这样并排地显示，使得不同层级或者菜单级别的对象看起来依次地布置。在此，输出内容80尤其透视地这样产生，使得显示沿三维结构的布置，例如沿同心的环或者圆柱体的布置。当切换层级或者菜单级别时，显示的视图的视角向另一个层级的对象运动。

在本实施例中，相同层级上的情景或者对象82、83如在转盘上那样侧向并排地并且略微透视地向后偏移地显示。外部的图块或者对象82、83被裁剪地显示，以便清楚地表明在它们旁边还有其它内容。当打开情景或者对象82时，执行向较低的菜单级别的切换并且显示对相应图块的放大，其中，选择的中间图块被短暂放大。随后又显示缩小，直至在随即较低的菜单级别上重新显示三个情景。

情景或者对象82的关闭并且因此向较高的菜单级别的切换被输出为透视地远离图块。为此在显示内容中，中间的、自动选择的对象82被缩小，并且接下来再次放大，直至在随即较高的菜单级别上重新显示例如三个情景。

通过所描述的视觉动画为用户输出关于用户沿哪个操作方向在菜单层级中运动的视觉支持，使得他获得关于菜单结构的更好定向和他在层级内部的当前位置。

在其它实施例中，列表内容、例如电话簿的条目还竖直而不是水平布置地被输出。在此也显示了条目沿圆柱体或者转盘结构的透视布置。上部和下部的元素分别被裁剪地显示，以便清楚地表明在它们旁边还有其它内容。层级切换能够如以上参照图8D所阐述的那样执行。

除了在视觉上支持层级切换之外，还可以产生能够在听觉或者触觉上感知的输出内容。

附图标记清单

1 交通工具

2 触摸屏

3 输出单元；显示单元

4 检测单元；触摸敏感表面

5 检测单元；摄像机

6 输出单元；扬声器

7 检测区域

8 控制单元

9 装置；多媒体单元

20 操作表面

21 手的示意图

22至25 图形对象

S1至S6 步骤

40 输出内容

41、42 箭头(“挥动，竖直地”)

43、44 箭头(“挥动，水平地”)

45、46 箭头(透视地)

50 输出内容

51 音量操作对象

52 音量符号

53 指示对象

54 标尺对象

55 图形对象

60 输出内容

61 弹出窗口

62 操作元件(接受)

63 操作元件(拒绝)

64 动态对象(向前)

65 动态对象(向后)

66 背景视图

67 操作元件(暂停)

68 操作元件(情景菜单)

69a、69b 操作元件(倒放和快进)

70 输出内容

71 弹出窗口

72 亮度符号

73 操作元件(“开”)

74 操作元件(“关”)

75 图形对象

80 输出内容

81 微件(靠近模式)

82 选择的对象

83 其它对象

84 手

85 箭头

86 其它对象

87 选择的对象

88 对“OK”动作的提示

89 对“停止”动作的提示

Claims (10)

1.一种用于检测对交通工具的装置的用户输入的方法，其中，

检测所述装置的能操作的功能；

根据所述能操作的功能确定第一和第二潜在操作行为类型；

确定优选操作行为类型；并且

根据所述优选操作行为类型产生输出内容并且将所述输出内容输出；其中，

输出内容包括操作对象，根据所述操作对象为用户显示优选操作行为类型。

2.按权利要求1所述的方法，

其特征在于，

将所确定的潜在操作行为类型配置给不同的操作模态；其中，确定优选操作模态并且根据所述优选操作模态确定优选操作行为类型。

3.按权利要求1或2所述的方法，

其特征在于，

如果所述优选操作行为类型包括空间动作，则所述输出内容包括运动对象，所述运动对象具有与空间动作的方向相应的运动。

4.按前述权利要求之一所述的方法，

其特征在于，

如果所述优选操作行为类型包括空间动作，则所述输出内容包括手(21)的示意性的图形视图。

5.按前述权利要求之一所述的方法，

其特征在于，

如果第一优选操作行为类型包括语音指令，则所述输出内容包括语音指令的文本视图。

6.按前述权利要求之一所述的方法，

其特征在于，

还检测不能配置给潜在操作行为类型的操作行为，并且

根据能操作的功能和检测到的操作行为确定意图假设；其中，

根据意图假设产生输出内容。

7.按前述权利要求之一所述的方法，

其特征在于，

检测相对于输入装置的用户位置并且优选操作行为类型根据所述用户位置包括对输入装置的操控或者空间动作。

8.按前述权利要求之一所述的方法，

其特征在于，

所述输出内容以能够在视觉、听觉或者触觉上感知的方式被输出。

9.一种用于检测对交通工具的装置的用户输入的操作系统，包括

控制单元(8)；以及

与所述控制单元(8)耦连的输出单元(3)；其中，

控制单元(8)设置用于检测所述操作系统的能操作的功能；根据所述能操作的功能确定用于能操作的功能的第一和第二潜在操作行为类型；并且确定优选操作行为类型；其中，

控制单元(8)还设置用于根据所述优选操作行为类型产生输出内容并且借助输出单元(3)将所述输出内容输出；其中，

输出内容包括操作对象，根据所述操作对象为用户显示优选操作行为类型。

10.按权利要求9所述的操作系统，

其特征在于用于检测操作行为的检测单元，所述检测单元尤其具有用于在检测区域(7)中检测动作的摄像机(5)、触摸敏感表面(4)和/或语音检测单元。

Images