CN105829994A - 用于在用于控制车辆的菜单内进行导航以及从菜单选择菜单项的设备和方法 - Google Patents

用于在用于控制车辆的菜单内进行导航以及从菜单选择菜单项的设备和方法 Download PDF

Info

Publication number
CN105829994A
CN105829994A CN201480069946.1A CN201480069946A CN105829994A CN 105829994 A CN105829994 A CN 105829994A CN 201480069946 A CN201480069946 A CN 201480069946A CN 105829994 A CN105829994 A CN 105829994A
Authority
CN
China
Prior art keywords
driver
menu
menu item
equipment
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480069946.1A
Other languages
English (en)
Other versions
CN105829994B (zh
Inventor
A·西格尔
M·赖歇尔
P·巴格弗雷德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of CN105829994A publication Critical patent/CN105829994A/zh
Application granted granted Critical
Publication of CN105829994B publication Critical patent/CN105829994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于执行用于借助于驾驶员(1)的至少一个头部运动对包括至少一个菜单项(10)的用于控制车辆的菜单进行导航和/或从所述菜单选择菜单项(10)的方法的设备，包括：摄像机(6)，所述摄像机被构造用于为了检测摄像机数据而佩戴在驾驶员(1)的头部上，其中，所述摄像机数据相应于驾驶员(1)的视野；计算单元(9)，所述计算单元被布置用于生成菜单项(10)的汇编，所述汇编根据驾驶员(1)的至少一个预确定的与驾驶员(1)的视野的方向相应的视向和/或头部姿态来进行；显示器(11)，用于输出所述菜单项(10)。

Description

用于在用于控制车辆的菜单内进行导航以及从菜单选择菜单项的设备和方法
技术领域
本发明涉及一种用于在包括至少一个菜单项的菜单内进行导航并且用于从所述菜单选择菜单项的方法以及一种用于执行这种方法的设备。
背景技术
现代车辆现在具有多种功能，这些功能仍仅可借助于大量分支的菜单来控制。收音机、电视机、导航、E-Mail和各种互联网服务在中央借助于方向盘、操纵杆、键盘或触摸板来控制。但从大量分支的菜单进行选择要求驾驶员在驾驶期间高度专注，其中，驾驶员的注意力从交通业务强烈分散。为了预防事故，使用语音控制或手势控制，其中，为了显示菜单，使用位置固定的显示器操控台或平视显示器，所述显示器操控台或平视显示器对于驾驶员应简化在操作车辆期间功能选项的选择。
由文献US2012/0235902A1公知了一种装配在头部上的信息系统，所述信息系统具有显示单元，所述显示单元装配在数据眼镜的框架上，其中，框架包括至少一个运动传感器，所述运动传感器与计算单元耦合，所述计算单元被布置用于将使用者的头部姿势转化成信号，所述信号由计算单元解译为用于在选择菜单中进行导航的控制信号。在此，控制应借助于头部姿势使使用者在操作不同功能时减轻负担并且在此不限制使用者的注意力和视域。
由另一个文献US2002/0021407A1公知了一种姿势控制的视频游戏，在所述视频游戏中使用数据眼镜，所述数据眼镜装备有运动传感器，所述运动传感器控制一个控制单元。计算单元将由运动传感器检测的头部姿势转化成用于控制视频游戏的指令。
发明内容
本发明的目的在于，给出一种方法以及一种设备，通过所述方法/设备可直观地且可靠地控制车辆的选择菜单。
所述目的借助于一种用于借助于驾驶员的至少一个头部运动对包括至少一个菜单项的用于控制车辆的菜单进行导航和/或从菜单选择菜单项的方法来实现，其中，菜单的菜单项的汇编根据驾驶员的至少一个视向和/或头部姿态来进行。该方法的特别优点在于，这样汇编菜单的各个菜单项，使得通过在一个方向上例如在车辆的周围环境的一个方向上的视向或头部运动对在该方向上重要的或在视向的方位上重要的菜单项作出选择。除此之外，接着借助于头部姿势从所汇编的菜单有目的地选择菜单项。对于头部姿势可理解为连续的头部运动和/或离散的以及重复的头部运动。头部运动的组合也可作为头部姿势来解译，其被解译用于在用于控制车辆的菜单中进行导航或选择。由此，驾驶员的注意力不受驾驶业务影响并且同时向驾驶员提供重要菜单项、尤其是驾驶动作的有目的的选择以便进行选择。
根据本发明的一个有利实施形式，为了输出重要的驾驶动作，用于驾驶员的菜单项在驾驶员的NTED(Near-the-Eyes-Display，近眼显示器)或车辆的HUD(Head-up-Display，平视显示器)或屏幕显示器上输出。为了不使驾驶员的视域从驾驶业务分散，特别有利的是，菜单项的汇编借助于NTED投射。特别的优点是由于NTED例如可集成在数据眼镜中引起的，所述数据眼镜与驾驶员的头部的运动一起运动并且总是可将重要的菜单项渐显到驾驶员的视野中。由此，驾驶员的判断过程明显简化，因为驾驶业务以及与驾驶业务或者说驾驶员的视向相关的菜单项对于驾驶员的视线可同时被获得。
在本发明的一个特别优选的实施形式中，根据驾驶员的视野的方向和/或头部姿态仅输出一个菜单项。这种选择向驾驶员仅仅提供采用或拒绝渐显的建议的备选方案。作为菜单选项的这种菜单项例如涉及安全超车动作或停入动作或者说涉及驾驶员不必作出其它权衡的驾驶动作。另外，唯一的菜单项首先在紧急的危险状况时或在向驾驶员提示高重要性时适用。
在本发明的另一个符合目的的实施形式中，菜单项的汇编根据在驾驶员的视野中出现图像对象的频率来进行。如果在驾驶员的视野中频繁地瞄准停车场指示牌、教堂、车间等，则菜单项的汇编例如显示最近的停车场、加油站、车间或教堂用于在菜单中进行选择。由此可预料驾驶员的目标并且将到所述目标所需的导航引入。
本发明的另一个方面涉及一种用于执行用于借助于驾驶员的至少一个头部运动对包括至少一个菜单项的用于控制车辆的菜单进行导航和/或从菜单选择菜单项的方法的设备，包括：
-摄像机，所述摄像机被构造用于为了检测摄像机数据而佩戴在驾驶员的头部上，其中，摄像机数据相应于驾驶员的视野；
-计算单元，所述计算单元被布置用于生成菜单项的汇编，所述汇编根据驾驶员的至少一个预确定的视向和/或头部姿态来进行；
-显示器，用于输出菜单项。
关于所述方法所描述的优点同样适于用所述方法运行的设备。除此之外，可由通过摄像机检测的摄像机数据在计算单元中例如借助于分析处理摄像机图像的光流来求得驾驶员的视野的方向和/或头部姿态和/或头部运动。另外，可借助于在计算单元中执行的模式识别来识别图像对象。
在本发明的一个符合目的的实施形式中，所述设备附加地具有惯性传感器，所述惯性传感器被构造用于为了检测驾驶员的头部姿态和/或头部运动而佩戴在驾驶员的头部上。由此可采取冗余的手段用于选择在视向或头部姿态中重要的或在视向的方位上重要的菜单项。除此之外，可由所汇编的菜单借助于头部运动有目的地选择菜单项。
根据本发明的一个有利实施形式，显示器为了输出菜单项而具有驾驶员的NTED或车辆的HUD或屏幕显示器。通过渐显重要的菜单项，驾驶员的判断过程明显简化。
根据另一个优选实施形式，驾驶员的NTED集成在数据眼镜中。由此，菜单的显示与驾驶员的视向或头部姿态无关地总是在其视野中渐显。
在根据本发明的一个符合目的的实施形式中，计算单元被构造用于根据在驾驶员的视野中出现预确定的图像对象的频率来生成菜单项的汇编。借助于由计算单元辨识的预确定的图像对象的频率可作出关于驾驶员的可能意图的预报并且例如在所汇编的菜单中提供确定的导航目标用于进行选择，而驾驶员不必逐个地输入所述导航目标。预确定的图像对象例如可以是停车指示牌、加油站提示、对酒店、博物馆或医院的提示。
优选所述设备为了交换数据而具有双向的通信单元，所述通信单元被布置用于将惯性传感器和/或摄像机和/或计算单元的数据与车辆的控制单元进行交换。通信装置允许节省位置地且无关地在车辆中布置控制单元以及从所述设备或者说车辆的控制单元方面相互地使用有效的数据。
根据本发明的一个实施形式的特别紧凑的设备提出，计算单元、惯性传感器、摄像机和显示器集成在可佩戴在驾驶员的头部上的单元中。由此，所述设备可特别柔性地使用，例如在数据眼镜中，其中，软件可专门地与具有预确定车辆的设备的使用相协调。
为了可特别有效地使用菜单，菜单项包括用于自主驾驶车辆的驾驶动作和/或对驾驶员的指示。驾驶动作尤其是应关于车辆的自主驾驶来理解。对于驾驶动作的选择，驾驶员省去一系列操作步骤并且由此驾驶员变得轻松。
本发明的另一个方面涉及一种车辆，具有自动驾驶仪和如前所述的设备。在此，所述车辆被布置用于借助于自动驾驶仪自动地执行由驾驶员选择的驾驶动作。设置有所述设备的车辆不仅提高行驶时的舒适性，而且提高行驶安全性。除此之外，车辆的自动驾驶仪可比驾驶员本身经济且有效地控制车辆。
附图说明
下面借助于附图详细描述本发明以及示例性实施形式。
在此，唯一的附图借助于概略视图解释根据本发明的一个有利实施形式的借助于根据本发明的方法运行的用于在菜单内导航和/或从菜单选择菜单项的设备。
具体实施方式
图中示出了一个行驶状况，如其在通过眼睛象征性表示的驾驶员1的视野中所发生的那样。在驾驶员1的视野中示出了在道路2的一个车道上行驶的车辆3，所述车辆恰好行驶经过停车场指示牌4。驾驶员1通过数据眼镜5看到在其视野中检测到的行驶状况。根据本实施形式，数据眼镜5包括摄像机6，所述摄像机检测行驶状况的图像，所述图像相应于驾驶员1的眼睛的视野的图像。此外，数据眼镜5包括惯性传感器7，所述惯性传感器记录数据眼镜5的运动并且将相应于所述运动的信号通过通信单元8传输给计算单元9。除此之外，由通信单元8也传输由摄像机6检测的图像数据。在本发明的一个优选实施形式中，计算单元9也集成在数据眼镜5中——未示出。由此可制造特别紧凑的设备。计算单元9被布置用于生成菜单项10的汇编。在此，菜单项10根据驾驶员1的视向和/或由数据眼镜5的摄像机6所检测并且传输给计算单元的图像数据来生成。驾驶员1的视向可通过惯性传感器7来求得。在本发明的另一个优选实施形式中，作为替换方案或附加地可借助于由摄像机6提供的摄像机数据来求得驾驶员1的视向和/或头部姿态和/或头部运动。在此，例如借助于模式识别、例如A柱、外后视镜、内后视镜等的模式识别通过计算单元9确定驾驶员的视向，所述视向相应于驾驶员1所佩戴的数据眼镜5的取向。在另一个实施形式中，视向和/或头部姿态和/或头部运动可通过分析处理摄像机图像或者说摄像机数据的光流来求得。除此以外，在本发明的另一个实施形式中，计算单元9也可通过与预确定的图像数据相比较来辨识由数据眼镜5的摄像机6检测的图像对象、例如车辆3、停车指示牌4或行驶路面2的车道。
根据驾驶员1的视向或者说头部姿态这样汇编菜单的菜单项10，使得菜单项10仅相应于驾驶员1的重要的选项，所述选项对于驾驶员1在朝预确定方向看时或在当前头部位置下最可能。例如当驾驶员1向左看或摆动头部时，会生成这样的菜单项10，所述菜单项相应于驾驶动作：向左转弯、超车、打开车门以便下车等。在本发明的一个优选实施形式中，除了驾驶员1的视向或者说头部位置之外，也分析处理另外的描述行驶状况的图像数据，例如在前场中检测到的图像数据。因此例如可根据对表明停车场、酒店、医院或城市中心等的交通提示进行考察的频率来生成导航目标，所述导航目标接着提供给驾驶员1用于选择。
在图中所示的数据眼镜5中，向驾驶员1将菜单项10在作为数据眼镜5的显示器11的NTED中投射到视野中。由此得到的优点是同时渐显已与驾驶员1的视向或头部姿态匹配地由计算单元9生成的菜单项10。由此，行驶安全性自动提高，因为驾驶员在搜索菜单项10时不从驾驶业务分心。根据数据眼镜5的在图中说明的实施形式，菜单项的选择可借助于头部姿势来进行，其中，惯性传感器7将代表头部运动的信号通过通信单元8传送给计算单元9，计算单元9将所述信号通过在驾驶员1的视野中在数据眼镜5上渐显的具有其菜单项10的菜单解译/转化成导航步骤。据此，连续或离散形式的确定的头部运动以及其各种变型，被理解为关于确定的菜单项10的导航步骤或者说被理解为用于激活所涉及的所选择的菜单项10的选择。所述“头部姿势”简化例如代表驾驶动作的菜单项的选择并且同时提高驾驶员1在操作其车辆时的安全性和注意力。据此，驾驶员1不需要再强制性地将其视线从驾驶业务移开，以便用一只或两只手执行确定的驾驶动作或引入所述驾驶动作。除了控制车辆，也可借助于头部姿势控制车辆本身的部件，例如多媒体装置或车载电脑。
在本发明的另一个有利实施形式中，计算单元9根据驾驶员1的视向和/或摄像机6检测到的图像仅生成一个向驾驶员1在显示器11、即NTED上渐显的菜单项。这种菜单项可通过非常简单的“头部姿势”或者说头部运动来选择或拒绝。这种菜单项10首先可在紧急的危险状况时或在向驾驶员提示高重要性时使用。
视根据本发明的设备的实施形式而定，计算单元9也可与所述设备的另外的元件无关地设置在车辆中。所述计算单元例如可构造成车载电脑的或车辆的控制装置12的一部分。
根据本发明的一个优选实施形式，摄像机6、惯性传感器7和通信单元8以及显示器11集成在一个唯一的设备、例如数据眼镜5中，其中，数据眼镜5可在装备有计算单元9的任意一个车辆中使用。在此仅需要合适的软件，所述软件可以是标准化的，但或者可以与专门的车辆类型相协调。
通过根据本发明的设备，行驶安全性可明显改善，同时车辆中的舒适性可提高。

Claims (13)

1.一种用于借助于驾驶员(1)的至少一个头部运动对包括至少一个菜单项(10)的用于控制车辆的菜单进行导航和/或从所述菜单选择菜单项(10)的方法，其中，所述菜单的菜单项(10)的汇编根据驾驶员(1)的至少一个视向和/或头部姿态来进行。
2.根据权利要求1的方法，其特征在于：驾驶员(1)的菜单项(10)在驾驶员(1)的NTED或所述车辆的HUD或屏幕显示器上输出。
3.根据权利要求1或2的方法，其特征在于：根据驾驶员(1)的视野的方向和/或头部姿态仅输出一个菜单项(10)。
4.根据权利要求1或3任意之一的方法，其特征在于：所述菜单项(10)的汇编根据在驾驶员(1)的视野中出现图像对象(2，3，4)的频率来进行。
5.一种用于执行用于借助于驾驶员(1)的至少一个头部运动对包括至少一个菜单项(10)的用于控制车辆的菜单进行导航和/或从所述菜单选择菜单项(10)的方法的设备，包括：
-摄像机(6)，所述摄像机被构造用于为了检测摄像机数据而佩戴在驾驶员(1)的头部上，其中，所述摄像机数据相应于驾驶员(1)的视野；
-计算单元(9)，所述计算单元被布置用于生成菜单项(10)的汇编，所述汇编根据驾驶员(1)的至少一个预确定的与驾驶员(1)的视野的方向相应的视向和/或头部姿态来进行；
-显示器(11)，用于输出所述菜单项(10)。
6.根据权利要求5的设备，其特征在于：所述设备具有惯性传感器(7)，所述惯性传感器被构造用于为了检测驾驶员(1)的头部姿态和/或头部运动而佩戴在驾驶员(1)的头部上。
7.根据权利要求5或6的设备，其特征在于：所述显示器(11)为了输出菜单项(10)而具有驾驶员(1)的NTED或车辆的HUD或屏幕显示器。
8.根据权利要求7的设备，其特征在于：驾驶员(1)的NTED集成在数据眼镜(5)中。
9.根据权利要求5至8任意之一的设备，其特征在于：所述计算单元(9)被布置用于根据在驾驶员(1)的视野中出现预确定的图像对象(2，3，4)的频率来生成所述菜单项(10)的汇编。
10.根据权利要求5至9任意之一的设备，其特征在于：所述设备具有双向的通信单元(8)，所述通信单元被布置用于将所述惯性传感器(7)和/或所述摄像机(6)和/或计算单元(9)的数据与所述车辆的控制单元(12)进行交换。
11.根据权利要求5至10任意之一的设备，其特征在于：所述计算单元(9)、所述惯性传感器(7)、所述摄像机(6)和所述显示器集成在可佩戴在驾驶员(1)的头部上的单元中。
12.根据权利要求5至11任意之一的设备，其特征在于：所述菜单项(10)包括用于自主驾驶所述车辆的驾驶动作和/或对驾驶员(1)的指示。
13.一种车辆，具有自动驾驶仪和根据权利要求5至12任意之一的设备，其中，所述车辆被布置用于借助于所述自动驾驶仪自动地执行由驾驶员(1)借助于菜单项(10)选择的驾驶动作。
CN201480069946.1A 2013-12-21 2014-12-16 用于在用于控制车辆的菜单内进行导航以及从菜单选择菜单项的设备和方法 Active CN105829994B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102013021834.9 2013-12-21
DE102013021834.9A DE102013021834B4 (de) 2013-12-21 2013-12-21 Vorrichtung und Verfahren zum Navigieren innerhalb eines Menüs zur Fahrzeugsteuerung sowie Auswählen eines Menüeintrags aus dem Menü
PCT/EP2014/003380 WO2015090569A1 (de) 2013-12-21 2014-12-16 Vorrichtung und verfahren zum navigieren innerhalb eines menüs zur fahrzeugsteuerung sowie auswählen eines menüeintrags aus dem menü

Publications (2)

Publication Number Publication Date
CN105829994A true CN105829994A (zh) 2016-08-03
CN105829994B CN105829994B (zh) 2018-06-19

Family

ID=52282668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480069946.1A Active CN105829994B (zh) 2013-12-21 2014-12-16 用于在用于控制车辆的菜单内进行导航以及从菜单选择菜单项的设备和方法

Country Status (5)

Country Link
US (1) US9645640B2 (zh)
EP (1) EP3084564B1 (zh)
CN (1) CN105829994B (zh)
DE (1) DE102013021834B4 (zh)
WO (1) WO2015090569A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107009961A (zh) * 2017-03-03 2017-08-04 北京汽车股份有限公司 汽车和汽车透明座舱系统
CN110053609A (zh) * 2018-01-17 2019-07-26 丰田自动车株式会社 车辆用显示协作控制装置
CN110603167A (zh) * 2017-05-05 2019-12-20 奥迪股份公司 用于可用在车辆中的头戴式视觉输出装置的移动式传感器设备和运行显示系统的方法
CN112272625A (zh) * 2018-06-08 2021-01-26 大众汽车股份公司 用于运行交通工具中的自动驾驶功能的方法和系统
CN112384401A (zh) * 2018-07-09 2021-02-19 奥迪股份公司 用于运行由机动车的车辆乘员戴在头部的显示装置的方法和用于机动车的显示系统
CN113391734A (zh) * 2020-03-12 2021-09-14 华为技术有限公司 图像处理方法和图像显示设备、存储介质和电子设备

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013021834B4 (de) 2013-12-21 2021-05-27 Audi Ag Vorrichtung und Verfahren zum Navigieren innerhalb eines Menüs zur Fahrzeugsteuerung sowie Auswählen eines Menüeintrags aus dem Menü
US9821920B2 (en) * 2015-08-18 2017-11-21 Nextvr Inc. Methods and apparatus for compensating for vehicular motion
US10589625B1 (en) 2015-12-11 2020-03-17 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of an actual vehicle component with a virtual vehicle component
US10969748B1 (en) * 2015-12-28 2021-04-06 Disney Enterprises, Inc. Systems and methods for using a vehicle as a motion base for a simulated experience
US11524242B2 (en) 2016-01-20 2022-12-13 Disney Enterprises, Inc. Systems and methods for providing customized instances of a game within a virtual space
DE102016206304A1 (de) * 2016-04-14 2017-10-19 Continental Teves Ag & Co. Ohg Fahrzeug-zu-X-Kommunikationsmodul
US10372132B2 (en) * 2016-12-12 2019-08-06 Apple Inc. Guidance of autonomous vehicles in destination vicinities using intent signals
US10585471B2 (en) 2017-10-03 2020-03-10 Disney Enterprises, Inc. Systems and methods to provide an interactive space based on predicted events
US10970560B2 (en) 2018-01-12 2021-04-06 Disney Enterprises, Inc. Systems and methods to trigger presentation of in-vehicle content
US10841632B2 (en) 2018-08-08 2020-11-17 Disney Enterprises, Inc. Sequential multiplayer storytelling in connected vehicles
US10785621B1 (en) 2019-07-30 2020-09-22 Disney Enterprises, Inc. Systems and methods to provide an interactive space based on vehicle-to-vehicle communications
US11076276B1 (en) 2020-03-13 2021-07-27 Disney Enterprises, Inc. Systems and methods to provide wireless communication between computing platforms and articles
DE102020122977A1 (de) 2020-09-02 2022-03-03 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem und Fahrerassistenzverfahren für ein Fahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013005342A1 (de) * 2013-03-26 2013-09-19 Daimler Ag Kraftfahrzeug, -bedienvorrichtung, und Bedienverfahren hierfür
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US20020021407A1 (en) 2000-08-01 2002-02-21 Scott Elliott Eye-wear video game
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
DE10131720B4 (de) * 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
DE10256589B4 (de) * 2002-12-04 2008-02-28 Daimler Ag Bremsscheibe für ein Kraftfahrzeug
EP2019286A4 (en) * 2006-05-18 2011-12-28 Pioneer Corp INFORMATION PRESENTATION DEVICE, METHOD AND PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM
US20110063425A1 (en) * 2009-09-15 2011-03-17 Delphi Technologies, Inc. Vehicle Operator Control Input Assistance
CA2777566C (en) 2009-10-13 2014-12-16 Recon Instruments Inc. Control systems and methods for head-mounted information systems
CN102596627B (zh) * 2009-11-04 2015-02-11 本田技研工业株式会社 车辆用显示装置
US20120194418A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user action control and event input based control of eyepiece application
DE102010041344B4 (de) 2010-09-24 2020-10-29 tooz technologies GmbH Anzeigevorrichtung mit augengesteuerter Eingabeschnittstelle
US8670183B2 (en) * 2011-03-07 2014-03-11 Microsoft Corporation Augmented view of advertisements
JP5345660B2 (ja) * 2011-09-08 2013-11-20 本田技研工業株式会社 車載機器特定装置
CN103229174B (zh) * 2011-10-19 2016-12-14 松下电器（美国）知识产权公司 显示控制装置、集成电路以及显示控制方法
US20150012426A1 (en) * 2013-01-04 2015-01-08 Visa International Service Association Multi disparate gesture actions and transactions apparatuses, methods and systems
US20130346085A1 (en) * 2012-06-23 2013-12-26 Zoltan Stekkelpak Mouth click sound based computer-human interaction method, system and apparatus
JP6548203B2 (ja) * 2013-03-18 2019-07-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、パノラマ動画表示方法
DE102013021834B4 (de) 2013-12-21 2021-05-27 Audi Ag Vorrichtung und Verfahren zum Navigieren innerhalb eines Menüs zur Fahrzeugsteuerung sowie Auswählen eines Menüeintrags aus dem Menü

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
DE102013005342A1 (de) * 2013-03-26 2013-09-19 Daimler Ag Kraftfahrzeug, -bedienvorrichtung, und Bedienverfahren hierfür

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107009961A (zh) * 2017-03-03 2017-08-04 北京汽车股份有限公司 汽车和汽车透明座舱系统
CN110603167A (zh) * 2017-05-05 2019-12-20 奥迪股份公司 用于可用在车辆中的头戴式视觉输出装置的移动式传感器设备和运行显示系统的方法
CN110053609A (zh) * 2018-01-17 2019-07-26 丰田自动车株式会社 车辆用显示协作控制装置
CN110053609B (zh) * 2018-01-17 2022-04-05 丰田自动车株式会社 车辆用显示协作控制装置
CN112272625A (zh) * 2018-06-08 2021-01-26 大众汽车股份公司 用于运行交通工具中的自动驾驶功能的方法和系统
CN112384401A (zh) * 2018-07-09 2021-02-19 奥迪股份公司 用于运行由机动车的车辆乘员戴在头部的显示装置的方法和用于机动车的显示系统
CN112384401B (zh) * 2018-07-09 2022-02-01 奥迪股份公司 用于运行由机动车的车辆乘员戴在头部的显示装置的方法和用于机动车的显示系统
US11364803B2 (en) 2018-07-09 2022-06-21 Audi Ag Method for operating a display device worn on the head by a vehicle occupant of a motor vehicle, and display system for a motor vehicle
CN113391734A (zh) * 2020-03-12 2021-09-14 华为技术有限公司 图像处理方法和图像显示设备、存储介质和电子设备

Also Published As

Publication number Publication date
DE102013021834B4 (de) 2021-05-27
WO2015090569A1 (de) 2015-06-25
US20160313792A1 (en) 2016-10-27
DE102013021834A1 (de) 2015-06-25
EP3084564B1 (de) 2018-07-18
US9645640B2 (en) 2017-05-09
EP3084564A1 (de) 2016-10-26
CN105829994B (zh) 2018-06-19

Similar Documents

Publication Publication Date Title
CN105829994A (zh) 用于在用于控制车辆的菜单内进行导航以及从菜单选择菜单项的设备和方法
US11056003B1 (en) Occupant facing vehicle display
EP3095635B1 (en) Display apparatus and method for controlling the same
CN107867296B (zh) 安装在车辆上的车辆控制装置和控制该车辆的方法
CN105593104B (zh) 用于当自动驾驶仪被激活时使用机动车辆中的通信终端的方法和机动车辆
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
US10489100B2 (en) Electronic device and method for sharing images
CN110304052B (zh) 计算附加信息的插入的方法、执行方法的设备及机动车
US11486726B2 (en) Overlaying additional information on a display unit
US10471894B2 (en) Method and apparatus for controlling vehicular user interface under driving circumstance
JP6555599B2 (ja) 表示システム、表示方法、およびプログラム
US20150352953A1 (en) Vehicle control system with mobile device interface
CN109426255A (zh) 基于无人机的无人驾驶车辆控制方法、装置及存储介质
CN103303224A (zh) 车载设备手势控制系统及其使用方法
CN112601693B (zh) 用于监测和规划交通工具的运动的方案
CN107776577B (zh) 车辆的显示装置
CN102991422B (zh) Ａｖｍ系统信息和ａｖｎ系统信息的显示方法
JP2016071666A (ja) 車両の視線誘導装置
KR20130071241A (ko) 제스쳐 인식 기반 서비스 제공 시스템
CN106289305A (zh) 车载显示装置
KR20220010655A (ko) 주행모드 및 사용자 제어모션에 따른 자율주행 차량의 동적 칵핏 제어 시스템
US20210354705A1 (en) Method for avoiding a field of view disturbance for an operator of an object, device for carrying out the method as well as vehicle and computer program
CN112566809A (zh) 使机动车环境传感器的布置和作用方式可视化的方法和显示装置
KR102519134B1 (ko) Avm 화면 및 차량주행정보를 제공하는 디지털 클러스터 및 디지털 클러스터의 통합주행정보 디스플레이 방법
KR20170082757A (ko) 차량, 웨어러블 장치, 및 신호등 정보 제공 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant