CN103906646A - 用于尤其在机动车内提供图形用户界面的方法和装置 - Google Patents

用于尤其在机动车内提供图形用户界面的方法和装置 Download PDF

Info

Publication number
CN103906646A
CN103906646A CN201280053396.5A CN201280053396A CN103906646A CN 103906646 A CN103906646 A CN 103906646A CN 201280053396 A CN201280053396 A CN 201280053396A CN 103906646 A CN103906646 A CN 103906646A
Authority
CN
China
Prior art keywords
gesture
drawing object
user
viewing area
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280053396.5A
Other languages
English (en)
Other versions
CN103906646B (zh
Inventor
C.A.卡尔斯
M.威特凯珀
M.米施克
M.乔奇姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of CN103906646A publication Critical patent/CN103906646A/zh
Application granted granted Critical
Publication of CN103906646B publication Critical patent/CN103906646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • B60K35/10—
    • B60K35/29—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • B60K2360/146—
    • B60K2360/184—

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)

Abstract

本发明涉及一种用于尤其在机动车(1)内提供用户界面的方法和装置(2、3、4、5、8、9、10)。在按照本发明的方法中，在用户操作范围之外的显示区域(4、5)内显示至少一个设置用于交互作用的图形对象(15A-15F)，在与显示区域(4、5)在空间上分开的检测空间(13)内检测用户的手势并且选择图形对象(15B)进行交互作用。通过所选的图形对象(15B)进行与所述手势对应的交互作用，其中，所选的图形对象(15B)在交互作用期间所在的位置处于用户的操作范围之外。

Description

用于尤其在机动车内提供图形用户界面的方法和装置
本发明涉及一种用于尤其在机动车内提供用户界面的方法和装置。在按照本发明的方法中，在显示区域内显示至少一个设置用于交互作用的图形对象，检测用户的手势。此外，选择图形对象以进行交互作用，并且通过所选的图形对象进行与手势对应的交互作用。
图形用户界面尤其在计算机和电子装置的操作系统中已知，其中它们允许用户通过图形符号(也称为对象)与机器交互作用。在此能够以多种方式控制这些对象。所述对象例如可以借助电子鼠标、通过触摸敏感的显示面或者通过在显示面之前或者之上检测到并且转换为控制信号的手势选择或者移动。此外，也可以通过所选的对象实施与对象对应的功能来控制设备。
由于机动车内电子装置的增多，逐渐也为机动车装备具有图形用户界面的操作系统，以便能够借助较少的操作元件控制机动车的各种装置，例如收音机、CD播放器、通信装置或者导航系统。
在此，机动车内具有图形用户界面的操作方案在较大的可自由编程的显示面上实现，其中，对象可显示在任意位置上并且可由机动车乘客选择或移动。然而在此，在机动车中使用这些操作方案需要考虑多个特殊之处。一方面必须确保驾驶员在使用图形用户界面时不会从驾驶机动车和观察道路交通上分神。操作对象的操作行为必须能够迅速而直观地进行。此外，需要注意机动车乘客的移动局限性，它们尤其由于必须系安全带而在很大程度上被绑在各自的座椅位置上。在此的问题是，对于在机动车整个宽度上延伸的较大显示面，由于机动车乘客的移动局限性，可自由定位的对象可能处于用户的操作范围之外。例如副驾驶员将对象向右移动以使他能够舒服地用他的右手够到。这种对象可能对于驾驶员来说可能不能或者只能很困难地够到。
在DE102009048834A1中描述了一种用于显示信息的方法和设备，其中可以在显示面上操作图形对象，而用户不必接触显示面。为此，在显示面之前的停留区域内检测例如用户的手的位置和运动并且配置给不同的手势。
在DE102009032069A1中描述了一种用于在机动车内提供用户界面的方法和设备，其中，在显示面之前的检测空间内无接触地检测手势。在此，可以评估手势的运动方向并且通过运动元件(例如虚拟滑动开关或者旋转开关)操作操作对象。
US2011/0022307A1描述了一种用于操作显示在触摸屏上的导航程序的方法。在对象接近触摸敏感表面时，可以提高敏感度以检测对象，因此用户不再需要直接接触触摸屏。例如通过触摸屏上的多个测量点电容式地进行检测。
在US2011/0050589A1描述了一种借助用于机动车的手势的操作方法。在此，检测并且评估机动车内的任意预设表面上的手势。例如，机动车的驾驶员可以在方向盘上书写字母数字符号。
在DE102009059867A1中描述了一种用于提供图形用户界面的方法和设备，其中，在显示面上显示图形对象并且检测显示面之上或之前的手势。由此将所示对象的至少一部分移动到作出手势的位置附近。以这种方式尤其可以将之前定位在用户操作范围之外的对象移动到手势的位置处。
本发明所要解决的技术问题在于，提供一种按照本文开头所述类型的用于提供图形用户界面的方法和装置，它们实现了简单而直观的操作并且尤其适合用于机动车中。
该技术问题按本发明通过一种具有权利要求1所述特征的方法以及通过一种具有权利要求10所述特征的装置解决。有利的设计方案和扩展设计由从属权利要求得出。
在按照本发明的用于提供用户界面的方法中，在用户的操作范围之外的显示区域内显示至少一个设置用于交互作用的图形对象，并且在与显示区域在空间上分开的检测空间内检测用户的手势。在此，所选的图形对象在交互作用期间所在的位置处于用户的操作范围之外。由此也能够以简单的方式操作显示区域上较远的对象，而不需要将这些对象移动到用户附近。在此，设置用于交互作用的对象的位置尤其与检测到手势的区域无关。因此，检测空间不再需要直接设计在显示区域之前。检测空间尤其与显示区域相互间隔。
按照本发明，“手势”理解为用户的手的特定位置或者用户的手进行的特定运动。手势可以是按照本身已知的方式做出的。它们尤其包括指示手势、滑动手势和日常使用的手势，例如手的旋转、抓握手势和必要时多个这些一个紧接一个做出的手势的组合。手势在检测空间内做出，而用户不需要与显示区域建立空间关系。尤其不需要接近显示区域内的特定图形对象。通过借助手势控制用户界面，为用户提供了一种特别简单而直观地输入可能性，以便控制显示区域内的显示内容或者对应装置。
按照本发明，“用户的操作范围”理解为用户在不用伸着或者扭着的情况下手能够到的操作范围。对于在机动车中的应用，用户在此尤其不能离开其座椅位置。作为驾驶员，他例如不必为此改变其躯体姿势并且例如能够在上臂系有安全带的情况下只由前臂做出手势。在必要时，“用户的操作范围”可以根据特定情况而改变。因此，操作范围可能在某些情况下(例如机动车高速转弯时)减小，因为由于安全带拉紧而进一步限制了用户的运动自由度。
图形对象能够以任意的方式方法进行选择。尤其也可以与检测到的手势无关地进行选择。例如通过各自的显示背景内容在系统侧进行选择。然而作为备选，也可以通过手势选择对象。在按照本发明方法的一种设计方案中，在显示区域内显示选择指针，并且由手势提炼出相对运动。根据提炼出的手势的相对运动改变选择指针在显示区域内的位置并且根据选择指针的位置选择图形对象。由此例如可以从远处直观地控制游标或者鼠标指针，其中，这种控制只与手势在空间中的相对运动有关。
按照另一种设计方案，由检测到的手势确定在空间中的方向，根据所确定的方向在显示区域内计算点并且如果所述图形对象处于围绕所计算的点的预设周围区域中，则可视化地显示对图形对象的选择。由此可以通过指示来选择图形对象。可视化显示所确定的图形对象的优点在于，用户直接得到关于其操作行为的反馈。在此，也可以在围绕所述点的周围区域内还未识别到对象时，在显示区域内可视化地显示所述点。这避免了用户在找到期望的图形对象之前在多个对象之间徒劳地搜索。这可以进一步加速选择方法。
检测到的手势可以划分为多个阶段。在此，可以从手势的某一阶段推导出空间中的方向或者运动。例如，手势的第一阶段用于选择图形对象，手势的第二阶段用于确定交互作用类别。这对于针对其定义了不同交互作用的图形对象是有利的。
在按照本发明方法的一种设计方案中规定，在进行交互作用之前，在所选的对象上可视化地显示可能的交互作用类别。用户由此能够在操作过程中调整其手势。
尤其检测在空间中无接触的手势。对于手势被划分为多个阶段的情况，检测至少一个在空间中无接触的阶段。无接触的手势尤其具有这样的优点，即用户不需要在手中拿着操作器件来进行其操作输入。这尤其在将按照本发明的方法应用在机动车中时是有利的。
在按照本发明方法的一种设计方案中规定，检测所述手势在处于用户操作范围内的触摸敏感表面上的第一阶段并且检测所述手势在空间中无接触的第二阶段，其中，所述手势的第一和第二阶段的轨迹相互连接。因此，用户可以在一次操作过程中在空间内做出自由手势，其中，通过在处于用户操作范围内的表面上开始做手势而减轻了用户定向的难度并且可以更好地使手势与交互作用关联。在此，在所述方法的一种设计方案中，在所述手势的第一阶段根据所述手势在触摸敏感表面上确定接触区并且根据所确定的接触区在触摸敏感表面上选择对象。这使得用户能够用一个手势在触摸敏感表面上的第一阶段选择图形对象，并且在作为自由手势的第二阶段中通过图形对象确定交互作用的类型。
触摸敏感表面尤其包括用户操作范围内的任何与显示区域相间隔的表面。在将按照本发明的方法用于机动车时，触摸敏感表面尤其包括处于机动车驾驶员操作范围内的表面。所述表面优选设计在方向盘上。这为机动车驾驶员提供了用于特别有针对性的操作的支持，同时手不需要离开方向盘。
在按照本发明方法的另一种设计方案中，根据所述手势的相对运动改变所选的图形对象在显示区域内的位置。以此方式，用户能够以任意方式移动所选的较远的图形对象。
显示区域能够以任意方式设计。它可以是连在一起的较大的显示区域，其中的一部分处于用户的操作范围之外。然而在本发明的一种设计方案中规定，所述显示区域包括至少一个在空间上彼此分开的第一和第二显示区域，并且通过所述手势将所选的图形对象从第一显示面移动到第二显示面上。由此可以将对象分配到配属于确定的用户或用户组或者功能块的显示面上。这例如实现了简单而直观地连接两个图形对象。
在按照本发明方法的一种扩展设计中，所述第一和/或第二显示面布置在与机动车可拆卸地连接的设备上，尤其是布置在由机动车乘客携带的便携式设备上。由此能够直观地将图形对象移动到机动车内的任何显示面上。在此，机动车用于提供确定的检测空间，在该检测空间中检测手势并且在必要时将手势与各个单独的图形对象关联。属于图形对象的数据的传输可以按照本身已知的方式进行。数据例如通过近场无线通讯接口(例如蓝牙)在不同设备之间传输。
按照本发明的用于尤其在机动车内提供用户界面的装置，包括用于接收通过数据技术保存的、设置用于交互作用的图形对象的接口、用于在显示区域内显示设置用于交互作用的图形对象的显示面以及用于在检测空间内检测用户手势的手势检测装置。在此，所述检测空间通过局限于固定预设的用户区域以内的用户的操作范围确定。按照本发明的装置还包括与接口、显示面和手势检测装置相连的控制单元，借助所述控制单元能够接收用于选择图形对象的信号并且通过所选的图形对象控制与手势对应的交互作用。所述装置的特征在于，借助控制单元能够在用户的操作范围之外的显示区域内显示设置用于交互作用的图形对象，所述检测空间与显示区域在空间上分开并且所述交互作用可这样进行，使得所选的图形对象在交互作用期间所在的位置处于用户的操作范围之外。按照本发明的用于提供用户界面的装置尤其适用于实施按照本发明的方法。因此所述装置也具有按照本发明的方法的优点。
手势的检测优选无接触地通过摄像头系统进行，所述摄像头系统从检测空间拍摄按照时间分辨的视频数据并且借助连接的分析单元将所检测的用户运动与特定手势关联。作为备选或补充，手势检测装置也包括可检测手势的第一阶段的电阻和/或电容表面。
此外，按照本发明为机动车装备这种用于提供用户界面的装置。
现在参照附图根据实施例进一步阐述本发明。在附图中：
图1示出机动车的客舱，其中布置有按照本发明一个实施例的用于提供用户界面的装置；
图2示意性地示出按照本发明的用于提供用户界面的装置的一个实施例的结构；
图3A至图3D示意性地示出用于与图形对象进行交互作用的手势，它们按照用于提供用户界面的按本发明方法的一个实施例在检测空间中被检测；并且
图4A至图4D示意性地示出与显示面上的图形对象的交互作用，所述图形对象按照图3A至图3D所示的手势进行操作。
以下根据机动车内的用户界面的一个实施例阐述按照本发明的装置和按照本发明的方法。然而需要指出的是，用户界面也能够以相同方式用于其它操作图形对象和对应功能的装置。按照本发明的方法尤其适用于规格较大的显示面，其中由于构造形式和/或由于所处的操作情况导致所示的图形对象部分处于在其之前的用户的操作范围之外。本发明尤其也能够用于较大的交互操作板，例如信息显示设备或者会议室。
在图1中示出了机动车1的客舱，其中布置有按照本发明一个实施例的用于提供用户界面的装置。在驾驶舱中，在驾驶员侧布置有方向盘2并且从中控台到副驾驶员侧布置有面积较大的多功能显示器4。此外，在机动车中，在客舱内固定安装有其它显示面或者可以为了显示和操作方案连入其它显示面，例如布置在副驾驶员座椅之前的附加显示器5以及由乘客携带的便携式信息娱乐设备6的显示器7。所述信息娱乐设备6例如是便携式媒体播放设备或者笔记本电脑，尤其是在整个面积上设计为触摸敏感的操作表面的计算机，其也作为所谓的“平板电脑”已知。
多功能显示器4、附加显示器5和便携式信息娱乐设备6的显示器7具有可自由编程的显示面，其中能够在显示器的任意位置显示由程序产生的显示内容。对于按照本发明的用户界面的显示和操作方案，这些显示面一起构成共同的显示区域。以此方式可以在该处显示、选择、移动和操作图形对象15A-15F，这还将参照图3A-图4D结合按照本发明的方法进一步阐述。
为此目的，在机动车1内安装有一个或多个本身已知的摄像头3，通过这些摄像头能够检测用于操作图形对象15A-15F的手势。摄像头3例如定位在挡风玻璃旁更高的位置处或者车顶内，从而能够随时良好地监测处于坐在机动车1内系上安全带的机动车乘客的手能够到的操作范围内的各个空间。
在方向盘2上设置有划分为不同区19A-19D的触摸敏感表面。这些区有利地设计在方向盘轮圈或者方向盘2的吸震器上。作为备选或补充，可以在至少一个机动车乘客手能够到的操作范围内设计其它触摸敏感表面(未示出)。这些触摸敏感表面与由摄像头3所检测的空间共同构成检测空间13，该检测空间的应用之后还将进一步描述。
在图2中示意性地示出参照图1描述的按照本发明的用于提供用户界面的装置的结构。固定安装于机动车1内的相互间隔的显示器4、5这样布置在机动车1的驾驶舱中，使得它们构成处于机动车乘客手能够到的操作范围之外的显示区域。
摄像头3监测检测空间13，在检测空间13内能够监测机动车乘客的运动。尤其能够由机动车乘客之一的手14的运动B在检测空间13内检测手势。检测空间13在此这样布置，使得显示设置用于交互作用的对象15A-15F的显示区域布置在检测空间13之外。在本实施例中，检测空间13与显示器4和5相互间隔。
方向盘2上的触摸敏感表面的触摸区19A-19D处于检测空间13内，因此也能够在至少两个阶段中检测手势。手势的第一阶段可以在触摸区19A-19D上开始并且连续地在所述空间中无接触地继续手势的第二阶段。在此，手势的两个阶段可以连续地作为一个手势被检测。
显示器4、5以及摄像头3和设计在方向盘2上的触摸敏感表面的接触区19A-19D域控制单元8相连。在此，控制单元8可以接收来自检测空间13的检测信号并且借助评估单元9配置确定的手势。
控制单元8还通过机动车1内的数据总线10与无线接口11相连，通过所述无线接口可以在数据技术上连接携带的便携式信息娱乐设备6。它可以是用于短距离数据交换的任何无线接口。它例如是蓝牙、WLAN(无线局域网络)或者红外接口。控制单元8还可以通过数据总线10接收关于图形对象15A-15F的数据，所述数据通过数据技术保存在机动车1内的不同功能装置12中。所述功能装置12尤其是机动车1的信息娱乐系统、驾驶员辅助系统、通信系统和舒适性装置如空调。
按照本发明，控制单元8可以根据所配置的手势控制由显示器4、5、7构成的显示区域内的显示内容并且触发功能装置12的功能，这将结合按照本发明方法的实施例进一步阐述。为此尤其可以使用参照图1和图2描述的按照本发明的装置。
在图3A至图3D中示意性地示出用于与图形对象15A-15F进行交互作用的手势，它们按照用于提供用户界面的按本发明方法的一个实施例在检测空间13中检测到。在图4A至图4D中示意性地示出与显示面4、5、7上的图形对象15A-15F的交互作用，所述图形对象按照图3A至图3D所示的手势进行操作。
作为初始状态，在由显示器4、5、7构成的显示区域上显示不同的图形对象15A-15F。当机动车乘客在座椅上系上安全带时，所述显示区域处于各机动车乘客手能够到的操作范围之外。此外，显示区域的其它部分不能由任何机动车乘客这样舒适地够到，例如可能通过触摸屏操作实现通常的操作。检测空间与这些显示区域相互间隔。
在图3A中，在检测空间13内通过摄像头3检测用户的手14的运动B。所述运动B在评估单元9中关联一个手势，其中，又为手势关联具体的交互动作。在所示情况下，用户以其食指做出从左向右的滑动手势。作为对此的备选，他也可能用两个手指或者张开的整个手做出手势。由所述手势提炼出从左向右的相对运动。
因为在此时间点还没有选择所示的图形对象15A、15B中的任一个，所以控制显示在显示器4上的游标16，直至该游标从左向右移动到围绕图形对象15B的周围区域18中(参见图4A)。用户能够以这种方式方法选择对象15B。他可以沿任意方向继续运动B，以便根据继续的运动移动现在所选的图形对象15B。用户在处于其手能够到的操作范围之外的显示区域部分内移动图形对象15B。他例如继续向右移动图形对象15B，其中，再由继续的运动B确定移动图形对象15B的相对运动B。
在图3B中，在检测空间13内通过摄像头3检测用户的手14的指示手势。由所检测的指示手势确定指示方向Z并且借助评估单元9计算手14朝向显示区域的延长线，直至延长线与显示区域相交。控制单元8由此产生用于显示器4的控制信号，从而在显示器4上在所计算的交点处显示指示点17(参见图4B)。如果指示点17处于围绕图形对象15B的周围区域18内，则可视化地突出并且选择该图形对象15B。通过显示指示点17，用户能够修正指示方向，因此他也能够不费力地选择更远处的图形对象。
如果已经选择了图形对象15B，用户可以将手势变为滑动或者拉动手势，从而可以如上所述地由手势提炼出运动方向B，根据该运动方向移动图形对象15B。作为备选，用户也可以将指示手势转变为其它手势，例如弹指手势或者勾动手势，通过这些手势实施与图形对象15B对应的功能。
在上述两种情况下，分别在两阶段式手势中首先在手势的第一阶段选择图形对象15B，然而在手势的第二阶段进行与图形对象15B的交互作用。作为备选，可以事先已经通过另一用户行为或者在系统侧选择图形对象15B。所述图形对象15B例如是来自通信系统12的消息，如短信(Short MessageService)，所述消息在接收之后自动地显示并且显示为所选的对象15B。
在图3C中示出两阶段式手势，其开始于方向盘2上的触摸敏感表面的接触区19A-19D并且自由地在空间中继续。在第一阶段中，将接触区19B确定为手势的起始点。机动车1的驾驶员例如以其食指径向向外地滑过方向盘轮圈上的相应部位。
在该时间点，在显示器4上显示具有四个项目的图形列表。显示器4划分为四个操作行20A-20D并且图形列表中的图形对象15A-15D被配置给各个操作行20A-20D，如图4C所示。然后根据所确定的接触区19B选择操作行20B并且进而选择图形对象15B用于交互作用。
图3C所示手势的第二阶段包括滑动手势，其又是由摄像头3检测并且由评估单元9计算其运动方向B。根据所计算的运动方向B移动所选的图形对象15B并且显示为移动的对象15B’。在此，这样做出滑动手势，即驾驶员的手14放在方向盘2上并且只有食指从左向右偏转。作为备选，驾驶员也可以这样做出手势，即他在方向盘2旁边的空间内进行第二阶段作为自由手势。
参照图3D和图4D示出了设置用于交互作用的图形对象15B的另一种手势操作。之前以任意方式选择图形对象15B。例如根据操作背景在系统侧选择并且可视化地突出该图形对象。用户做出抓握手势，其由摄像头3检测到并且配置给已经选择的图形对象15B。
在做出抓握手势时，用户的手14按照投掷手势向右移动，因此评估单元9提炼出运动方向B。组合的抓握和投掷手势关联一个交互作用，从而可以将相应选择的图形对象15B移动到显示区域的其它部分中。在所示情况下，图形对象15B从显示器4移出并且复制。所述图形对象作为复制的显示对象15B’显示在附加显示器5或者所携带的信息娱乐设备6的显示器7上。
在所示情况下例如是媒体数据，例如音乐或者视频，机动车1的驾驶员可以为另一乘客在配属于该乘客座椅位置的媒体播放装置上播放该媒体数据。以此方式，例如可以在机动车1的后座上控制娱乐节目。当在所携带的信息娱乐设备6的显示器7上移动图形对象15B时，控制单元8在检测到组合的抓握和投掷或滑动手势时产生控制信号，该控制信号启动通过无线连接11进行的对在数据技术上保存的图形对象15B的数据传输过程。
附图标记清单
1 机动车
2 方向盘
3 摄像头
4 驾驶舱内的多功能显示器
5 驾驶舱内的附加显示器
6 便携式信息娱乐设备
7 信息娱乐设备的显示器
8 控制单元
9 评估单元
10 机动车内的数据总线
11 无线接口
12 机动车内的功能装置
13 检测空间
14 用户的手
15A-15F 图形对象
16 游标
17 指示点
18 周围区域
19A-19D 接触区
20A-20D 操作行
B 运动方向
Z 指示方向

Claims (10)

1.一种用于尤其在机动车(1)内提供用户界面的方法，其中，
-在用户的操作范围之外的显示区域(4、5、7)内显示至少一个设置用于交互作用的图形对象(15A-15F)，
-在与显示区域(4、5、7)在空间上分开的检测空间(13)内检测用户的手势，
-选择图形对象(15B)用于交互作用并且
-通过所选的图形对象(15B)进行与所述手势对应的交互作用，
-其中，所选的图形对象(15B)在交互作用期间所在的位置处于用户的操作范围之外。
2.按权利要求1所述的方法，其特征在于，
-在显示区域(4、5、7)内显示选择指针(16)，
-由所述手势提炼出相对运动(B)，
-根据提炼出的手势的相对运动(B)改变选择指针在显示区域(4、5、7)内的位置并且
-根据选择指针(16)的位置选择图形对象(15B)。
3.按权利要求1所述的方法，其特征在于，
-由检测到的手势确定在空间中的方向(Z)，
-根据所确定的方向(Z)在显示区域(4、5、7)内计算点(17)并且
-如果所述图形对象(15B)处于围绕所计算的点(17)的预设周围区域(18)中，则可视化地显示对图形对象(15B)的选择。
4.按前述权利要求之一所述的方法，其特征在于，
-检测所述手势在处于用户操作范围内的触摸敏感表面(2)上的第一阶段并且
-检测所述手势在空间中无接触的第二阶段，
-其中，所述手势的第一和第二阶段的轨迹相互连接。
5.按权利要求4所述的方法，其特征在于，
-在所述手势的第一阶段，根据所述手势在触摸敏感表面(2)上确定接触区(19B)并且
-根据所确定的接触区(19B)在触摸敏感表面(2)上选择对象(15B)。
6.按权利要求4或5所述的方法，其特征在于，所述触摸敏感表面(2)包括处于机动车(1)的驾驶员的操作范围以内的、优选处于方向盘(2)上的、与所述显示区域(4、5、7)相间隔的表面(2)。
7.按前述权利要求之一所述的方法，其特征在于，根据所述手势的相对运动(B)改变所选的图形对象(15B)在显示区域(4、5、7)内的位置。
8.按权利要求7所述的方法，其特征在于，
-所述显示区域(4、5、7)包括至少一个在空间上彼此分开的第一和第二显示区域(4；5；7)，并且
-通过所述手势将所选的图形对象(15B)从第一显示面(4)移动到第二显示面(5；7)上。
9.按权利要求8所述的方法，其特征在于，所述第一和/或第二显示面(7)布置在与机动车(1)可拆卸地连接的设备(6)上、尤其是便携式设备上。
10.一种用于尤其在机动车(1)内提供用户界面的装置(2、3、4、5、8、9、10)，包括
-用于接收通过数据技术保存的、设置用于交互作用的图形对象(15A-15F)的接口(10)，
-用于在显示区域(4、5、7)内显示设置用于交互作用的图形对象(15A-15F)的显示面(4、5、7)，
-用于在检测空间(13)内检测用户的手势的手势检测装置(3、9)，其中，所述检测空间(13)通过局限于固定预设的用户区域以内的用户的操作范围确定，
-与接口(10)、显示面(4、5、7)和手势检测装置(3、9)相连的控制单元(8)，借助所述控制单元能够接收用于选择图形对象(15A-15F)的信号并且通过所选的图形对象(15B)控制与手势对应的交互作用，
其特征在于，
借助所述控制单元(8)
-在用户的操作范围之外的显示区域(4、5、7)内能够显示设置用于交互作用的图形对象(15B)，
-所述检测空间(13)与显示区域(4、5、7)在空间上分开并且
-所述交互作用可这样进行，使得所选的图形对象(15B)在交互作用期间所在的位置处于用户的操作范围之外。
CN201280053396.5A 2011-09-03 2012-08-28 用于尤其在机动车内提供图形用户界面的方法和装置 Active CN103906646B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102011112447A DE102011112447A1 (de) 2011-09-03 2011-09-03 Verfahren und Anordnung zum Bereitstellen einer graphischen Nutzerschnittstelle, insbesondere in einem Fahrzeug
DE102011112447.4 2011-09-03
PCT/EP2012/003601 WO2013029772A2 (de) 2011-09-03 2012-08-28 Verfahren und anordnung zum bereitstellen einer graphischen nutzerschnittstelle, insbesondere in einem fahrzeug

Publications (2)

Publication Number Publication Date
CN103906646A true CN103906646A (zh) 2014-07-02
CN103906646B CN103906646B (zh) 2019-03-08

Family

ID=46851381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280053396.5A Active CN103906646B (zh) 2011-09-03 2012-08-28 用于尤其在机动车内提供图形用户界面的方法和装置

Country Status (5)

Country Link
US (1) US9594472B2 (zh)
EP (1) EP2750915B1 (zh)
CN (1) CN103906646B (zh)
DE (1) DE102011112447A1 (zh)
WO (1) WO2013029772A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105408853A (zh) * 2013-07-26 2016-03-16 戴姆勒股份公司 遥控交通工具的功能的方法和装置
CN107107841A (zh) * 2015-02-20 2017-08-29 歌乐株式会社 信息处理装置
CN107835970A (zh) * 2015-06-02 2018-03-23 大众汽车有限公司 行进器、用户接口和用于在与用户接口相互作用时辅助使用者的方法
CN108349450A (zh) * 2015-08-28 2018-07-31 罗伯特·博世有限公司 用于提供建议信号以控制车辆中的至少一个功能的方法和装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5754410B2 (ja) * 2012-04-13 2015-07-29 トヨタ自動車株式会社 表示装置
DE102013000068A1 (de) 2013-01-08 2014-07-10 Audi Ag Verfahren zum Synchronisieren von Anzeigeeinrichtungen eines Kraftfahrzeugs
DE102013000071B4 (de) * 2013-01-08 2015-08-13 Audi Ag Synchronisieren von Nutzdaten zwischen einem Kraftfahrzeug und einem mobilen Endgerät
US9477315B2 (en) * 2013-03-13 2016-10-25 Honda Motor Co., Ltd. Information query by pointing
DE102013002891A1 (de) 2013-03-22 2014-09-25 Volkswagen Aktiengesellschaft Informationswiedergabesystem für ein Fahrzeug und Verfahren zum Bereitstellen von Informationen für den Benutzer eines Fahrzeugs
US10620775B2 (en) 2013-05-17 2020-04-14 Ultrahaptics IP Two Limited Dynamic interactive objects
US9436288B2 (en) 2013-05-17 2016-09-06 Leap Motion, Inc. Cursor mode switching
DE102013105507A1 (de) 2013-05-29 2014-12-04 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und Vorrichtung zur Bedienung mindestens eines Bildschirms in einem Fahrzeug
DE102014206047A1 (de) * 2014-03-31 2015-10-01 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer graphischen Benutzerschnittstelle in einem Fahrzeug
DE102014008204A1 (de) 2014-05-30 2015-12-03 Audi Ag Kraftfahrzeug mit Medienwiedergabe
JP6269343B2 (ja) 2014-06-23 2018-01-31 トヨタ自動車株式会社 車両用操作装置
JP6310787B2 (ja) * 2014-06-24 2018-04-11 株式会社デンソー 車両用入力装置および車両用コックピットモジュール
CN104309480B (zh) * 2014-09-28 2017-12-12 小米科技有限责任公司 操作功能执行方法和装置
DE102014226905A1 (de) * 2014-12-23 2016-06-23 Continental Automotive Gmbh Fahrzeugmultimediasystem und Verfahren zur datentechnischen Verbindung einesFahrzeugmultimediasystems mit mindestens einem mobilen Endgerät
DE102015204978A1 (de) * 2015-03-19 2016-09-22 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Ausgabesystems mit einer Anzeigevorrichtung und zumindest einer weiteren Ausgabevorrichtung
US20160334901A1 (en) * 2015-05-15 2016-11-17 Immersion Corporation Systems and methods for distributing haptic effects to users interacting with user interfaces
JP6515028B2 (ja) * 2015-12-18 2019-05-15 本田技研工業株式会社 車両用操作装置
DE102016108885A1 (de) 2016-05-13 2017-11-16 Visteon Global Technologies, Inc. Verfahren zum berührungslosen Verschieben von visuellen Informationen
WO2018216745A1 (ja) 2017-05-24 2018-11-29 京セラ株式会社 無線通信機器およびその制御方法
DE102017113763B4 (de) * 2017-06-21 2022-03-17 SMR Patents S.à.r.l. Verfahren zum Betreiben einer Anzeigevorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug
USD907653S1 (en) 2017-09-05 2021-01-12 Byton Limited Display screen or portion thereof with a graphical user interface
USD889492S1 (en) 2017-09-05 2020-07-07 Byton Limited Display screen or portion thereof with a graphical user interface
USD890195S1 (en) 2017-09-05 2020-07-14 Byton Limited Display screen or portion thereof with a graphical user interface
US10746560B2 (en) * 2017-09-05 2020-08-18 Byton Limited Interactive mapping
DE102017216674A1 (de) * 2017-09-20 2019-03-21 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Ansteuern von Fahrzeugfunktionen
US10999430B2 (en) * 2019-03-15 2021-05-04 Avaya Inc. Intelligent user device management in a multi device environment
DE102019209710B4 (de) * 2019-07-02 2023-10-12 Volkswagen Aktiengesellschaft Bediensystem umfassend ein Kraftfahrzeug mit einer Bedienvorrichtung
DE102019131944A1 (de) * 2019-11-26 2021-05-27 Audi Ag Verfahren zur Steuerung zumindest einer Anzeigeeinheit, Kraftfahrzeug und Computerprogrammprodukt
US11513754B2 (en) * 2020-09-08 2022-11-29 Atieva, Inc. Presenting content on separate display devices in vehicle instrument panel
US11507194B2 (en) * 2020-12-02 2022-11-22 Huawei Technologies Co., Ltd. Methods and devices for hand-on-wheel gesture interaction for controls

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1499344A (zh) * 2002-10-25 2004-05-26 �����ɣ���ͳ���˾ 手势开关装置
CN101055193A (zh) * 2006-04-12 2007-10-17 株式会社日立制作所 车载装置的非接触输入操作装置
US20090027332A1 (en) * 2007-07-27 2009-01-29 Continental Automotive Gmbh Motor vehicle cockpit
CN101835652A (zh) * 2007-08-21 2010-09-15 大众汽车有限公司 用于在汽车中显示信息的方法以及汽车用显示装置
DE102009046376A1 (de) * 2009-11-04 2011-05-05 Robert Bosch Gmbh Fahrerassistenzsystem für ein Fahrzeug mit einer Eingabevorrichtung zur Eingabe von Daten
DE102009059867A1 (de) * 2009-12-21 2011-06-22 Volkswagen AG, 38440 Verfahren und Vorrichtung zum Bereitstellen einer graphischen Benutzerschnittstelle
CN102159419A (zh) * 2008-09-22 2011-08-17 大众汽车有限公司 在用户可影响显示对象的呈现的车辆中的显示和操作系统以及运行这种显示和操作系统的方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060284839A1 (en) * 1999-12-15 2006-12-21 Automotive Technologies International, Inc. Vehicular Steering Wheel with Input Device
US7527288B2 (en) * 1995-06-07 2009-05-05 Automotive Technologies International, Inc. Vehicle with crash sensor coupled to data bus
US7920102B2 (en) * 1999-12-15 2011-04-05 Automotive Technologies International, Inc. Vehicular heads-up display system
US8040328B2 (en) * 2000-10-11 2011-10-18 Peter Smith Books, papers, and downloaded information to facilitate human interaction with computers
JP3930288B2 (ja) * 2001-10-30 2007-06-13 株式会社東海理化電機製作所 車載装置制御システム
US7062365B1 (en) * 2003-09-03 2006-06-13 Weibin Fei Personal computer for automobiles
CN101861563B (zh) * 2007-09-14 2014-03-12 松下航空电子公司 用于交通工具信息系统的便携式用户控制设备和方法
US8022933B2 (en) * 2008-02-21 2011-09-20 Sony Corporation One button remote control with haptic feedback
EP2304527A4 (en) * 2008-06-18 2013-03-27 Oblong Ind Inc GESTIK BASED CONTROL SYSTEM FOR VEHICLE INTERFACES
US20100079413A1 (en) * 2008-09-29 2010-04-01 Denso Corporation Control device
JP5392900B2 (ja) * 2009-03-03 2014-01-22 現代自動車株式会社 車載機器の操作装置
DE102009032069A1 (de) 2009-07-07 2011-01-13 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer Benutzerschnittstelle in einem Fahrzeug
US20110022307A1 (en) 2009-07-27 2011-01-27 Htc Corporation Method for operating navigation frame, navigation apparatus and recording medium
US9551590B2 (en) 2009-08-28 2017-01-24 Robert Bosch Gmbh Gesture-based information and command entry for motor vehicle
DE102009048834A1 (de) 2009-10-09 2011-04-14 Volkswagen Ag Verfahren und Anzeigeeinrichtung zum Anzeigen von Informationen
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
US9345973B1 (en) * 2010-08-06 2016-05-24 Bally Gaming, Inc. Controlling wagering game system browser areas
KR101241494B1 (ko) * 2010-08-31 2013-03-11 현대자동차주식회사 디스플레이용 윈드 실드 글라스 및 그 제조 방법
US9213890B2 (en) * 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
US20120095643A1 (en) * 2010-10-19 2012-04-19 Nokia Corporation Method, Apparatus, and Computer Program Product for Modifying a User Interface Format
US9057874B2 (en) * 2010-12-30 2015-06-16 GM Global Technology Operations LLC Virtual cursor for road scene object selection on full windshield head-up display
US8738224B2 (en) * 2011-01-12 2014-05-27 GM Global Technology Operations LLC Steering wheel system
US8863256B1 (en) * 2011-01-14 2014-10-14 Cisco Technology, Inc. System and method for enabling secure transactions using flexible identity management in a vehicular environment
CN103582584B (zh) * 2011-06-09 2016-01-20 本田技研工业株式会社 车辆用操作装置
CH705918A2 (de) * 2011-12-19 2013-06-28 Ralf Trachte Feld-Analysen für flexible Computer-Eingabe.

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1499344A (zh) * 2002-10-25 2004-05-26 �����ɣ���ͳ���˾ 手势开关装置
CN101055193A (zh) * 2006-04-12 2007-10-17 株式会社日立制作所 车载装置的非接触输入操作装置
US20090027332A1 (en) * 2007-07-27 2009-01-29 Continental Automotive Gmbh Motor vehicle cockpit
CN101835652A (zh) * 2007-08-21 2010-09-15 大众汽车有限公司 用于在汽车中显示信息的方法以及汽车用显示装置
CN102159419A (zh) * 2008-09-22 2011-08-17 大众汽车有限公司 在用户可影响显示对象的呈现的车辆中的显示和操作系统以及运行这种显示和操作系统的方法
DE102009046376A1 (de) * 2009-11-04 2011-05-05 Robert Bosch Gmbh Fahrerassistenzsystem für ein Fahrzeug mit einer Eingabevorrichtung zur Eingabe von Daten
DE102009059867A1 (de) * 2009-12-21 2011-06-22 Volkswagen AG, 38440 Verfahren und Vorrichtung zum Bereitstellen einer graphischen Benutzerschnittstelle

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105408853A (zh) * 2013-07-26 2016-03-16 戴姆勒股份公司 遥控交通工具的功能的方法和装置
CN107107841A (zh) * 2015-02-20 2017-08-29 歌乐株式会社 信息处理装置
CN107107841B (zh) * 2015-02-20 2020-03-31 歌乐株式会社 信息处理装置
CN107835970A (zh) * 2015-06-02 2018-03-23 大众汽车有限公司 行进器、用户接口和用于在与用户接口相互作用时辅助使用者的方法
CN108349450A (zh) * 2015-08-28 2018-07-31 罗伯特·博世有限公司 用于提供建议信号以控制车辆中的至少一个功能的方法和装置
CN108349450B (zh) * 2015-08-28 2021-04-09 罗伯特·博世有限公司 用于提供建议信号以控制车辆中的至少一个功能的方法和装置

Also Published As

Publication number Publication date
EP2750915A2 (de) 2014-07-09
US20140331185A1 (en) 2014-11-06
CN103906646B (zh) 2019-03-08
US9594472B2 (en) 2017-03-14
WO2013029772A2 (de) 2013-03-07
DE102011112447A1 (de) 2013-03-07
EP2750915B1 (de) 2019-04-17
WO2013029772A3 (de) 2013-04-25

Similar Documents

Publication Publication Date Title
CN103906646A (zh) 用于尤其在机动车内提供图形用户界面的方法和装置
US9403537B2 (en) User input activation system and method
JP6113281B2 (ja) 情報処理装置
CN106427571B (zh) 交互式操纵装置和用于运行所述交互式操纵装置的方法
CN110045825A (zh) 用于车辆交互控制的手势识别系统
JP2021166058A (ja) 車両の中で触覚フィードバックを用いるジェスチャー・ベースの入力システム
US20110169750A1 (en) Multi-touchpad multi-touch user interface
KR101154306B1 (ko) 로터리 스위치의 선택 메뉴별 햅틱 필링 차별화 방법
US10019155B2 (en) Touch control panel for vehicle control system
US8855855B2 (en) Vehicle control apparatus
KR20130126967A (ko) 특히 운송 수단 내에서 사용자 인터페이스 제공 방법 및 그 장치
KR20110076921A (ko) 사용자가 디스플레이 객체의 표시에 영향을 미칠 수 있는 자동차의 디스플레이 및 조작 시스템과 그 디스플레이 및 조작 시스템을 작동하는 방법
US9540016B2 (en) Vehicle interface input receiving method
CN108027709B (zh) 具有多个连接的显示屏的机动车操作装置
WO2015136901A1 (ja) 機器操作装置
CN106458114A (zh) 车辆用操作装置
US9846495B2 (en) Human machine interface system for controlling vehicular graphical user interface display
US20130328391A1 (en) Device for operating a motor vehicle
US20160154488A1 (en) Integrated controller system for vehicle
Meschtscherjakov The steering wheel: A design space exploration
JP2008269208A (ja) 操作検知システム
JP6390380B2 (ja) 表示操作装置
US20160154546A1 (en) Control panel for providing shortcut function and method of controlling using the same
WO2015122259A1 (ja) 入力方法、及び入力装置
US20200307377A1 (en) System and method for application interaction on an elongated display screen

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant