CN104412068A - 用于运行机动车的方法和控制系统 - Google Patents

用于运行机动车的方法和控制系统 Download PDF

Info

Publication number
CN104412068A
CN104412068A CN201380035025.9A CN201380035025A CN104412068A CN 104412068 A CN104412068 A CN 104412068A CN 201380035025 A CN201380035025 A CN 201380035025A CN 104412068 A CN104412068 A CN 104412068A
Authority
CN
China
Prior art keywords
gesture
motor vehicle
occupant
data processing
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380035025.9A
Other languages
English (en)
Inventor
A·艾布纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of CN104412068A publication Critical patent/CN104412068A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Thermal Sciences (AREA)

Abstract

本发明涉及一种用于运行机动车(10)的方法，具有下述步骤：借助手势识别单元(14)检测乘员(28)指向物体(32，36)的手势；借助数据处理单元(18)解读所述手势和鉴别所述物体(32，36)；借助所述数据处理单元(18)根据所解读的手势和所鉴别的物体(32，36)生成相应的控制指令以及根据控制指令操控机动车(20)的辅助系统(20)，其中本发明的特征在于下述步骤：借助语音识别单元(16)检测乘员(28)在检测手势之前、期间或之后所发出的语音指令；借助所述数据处理单元(18)对手势、所鉴别的物体(32，36)和语音指令相结合地进行解读以及根据所述相结合的解读来生成控制指令。本发明还涉及用于运行机动车(10)的控制系统(12)。

Description

用于运行机动车的方法和控制系统
技术领域
本发明涉及一种在权利要求1的前序部分中给出的类型的、用于运行机动车的方法。此外本发明还涉及一种在权利要求10的前序部分中给出的类型的、用于运行机动车的控制系统。
背景技术
这种方法和控制系统由US 2010/0274480A1已知。所述方法包括下述步骤：借助手势识别单元来检测乘员指向物体/对象/目标的手势；借助数据处理单元来解读所述手势并且鉴别所述物体；借助所述数据处理单元根据所解读出的手势和所鉴别出的物体生成相应的控制指令以及根据该控制指令操控机动车的辅助系统。文献中公开的系统用于，识别乘员的手势(乘员借助于所述手势指出/指明所谓的“兴趣点(Points of Interest)”)，然后向乘员输出关于兴趣点的相应的信息。
DE 10 2008 051 756 A1公开了一种方法，其中乘员可以在机动车的显示器上指出兴趣点，然后使显示器上的显示相应地匹配。
在文章“AIDA 2.0-Intelligentemit AugmentedReality verknüpft”(AIDA2.0-与增强现实技术相结合的智能导航方案)(http://www.zukunft-mobilitaet.net/5086/strassenverkehr/aida2-navigation-mit-vw-audi-3d/)中公开了一种用于运行机动车的控制系统，该控制系统可以借助于手势操纵来控制。在3D卡上不仅示出街道，而且插入“增强现实”形式的信息。由此由多于百万的移动通信装置的数据描述当前的道路情况以及示出20000个兴趣点、对餐馆和购物可能性的分析、关于当地活动的信息等。此外，可以借助于在那里示出的系统控制车辆的其它功能，例如空调、无线电等。所述控制借助于指向相应物体的手势或手指示意来进行。
最后，DE 10 2010 002 741 A1说明了一种用于机动车的信息系统，借助于该信息系统可以提供具有相应的关于位于机动车周围环境中的物体的位置关系的个性化信息。例如，可以在接近物体例如像旅馆等时示出相应的附加信息。
发明内容
本发明的目的在于，提供一种用于运行机动车的方法及控制系统，借助于所述方法和控制系统能够简化地且更不容易出错地操纵机动车。
所述目的通过具有权利要求1的特征的、用于运行机动车的方法并且通过具有权利要求10的特征的、用于运行机动车的控制系统来实现。本发明具有适宜的且不小的改进的有利的设计方案在从属权利要求中给出。
根据本发明的用于运行机动车的方法包括下述步骤：
-借助手势识别单元来检测乘员指向物体的手势；
-借助数据处理单元来解读/理解所述手势和鉴别所述物体；
-借助所述数据处理单元根据所解读的手势和所鉴别的物体生成相应的控制指令以及根据该控制指令操控机动车的辅助系统，
其中根据本发明的方法的突出之处在于下述步骤：
-借助语音识别单元来检测乘员在检测手势之前、期间或之后所发出的语音指令；
-借助所述数据处理单元以相结合的方式对手势、所鉴别的物体和语音指令进行解读以及根据所述相结合的解读来生成控制指令。
换句话说，根据本发明，实施相结合的手势控制和语音控制，借助于所述相结合的手势控制和语音控制能够控制机动车或者说机动车的相应功能。乘员例如可以指向其想与其互动/相互作用的相应物体，并基本上同时做出相应的语音指令，由该语音指令得到，乘员想以何种形式与该相应物体进行互动。所述物体例如可以是所谓的兴趣点，该兴趣点例如沿着机动车将驶过的确定的路线。然而物体也可以是操纵元件，例如机动车内的空调设备的操纵元件、导航设备等，乘员可以通过相应的手指示意或另外的手势结合相应的语音指令与这些操纵元件互动。
机动车的操纵或机动车的相应的辅助系统的操纵通过相结合的手势操纵和语音操纵明显更直观且进而被简化。此外，明显减少了在与物体的互动方面对乘员期望的错误解读，这是因为相结合地对乘员的相应手势和其语音指令进行解读。
根据本发明的一有利的实施方案，无论是指向布置在机动车外部的物体的手势还是指向布置在机动车内部的物体的手势都被检测和解读，以及对所述物体进行鉴别。换句话说，相结合的手势操纵和语音操纵可以用于位于车辆内部和外部的物体。
在本发明的另一有利的实施方案中，检测乘员的指出物体的手指运动作为手势。另选地，也可以检测乘员的其它手势，所述其它手势例如可以与数据库比较，在该数据库中存储了相应手势的相应意义，从而实现了还更直观地操纵机动车或其辅助系统。
在本发明的另一有利的设计方案中，为了鉴别物体，确定机动车位置和机动车方向并随后通过与数字地图信息的比较鉴别出物体。由此可以特别简单地进行对相应物体的鉴别，因为在了解了机动车位置且结合了解了机动车方向的情况下，可以进行对相应数字地图信息的相应简单的匹配，从而不需要其它用于鉴别相应的物体、尤其是布置在机动车外部的物体的花费大的传感装置。
优选仅当在预先给定的持续时间内检测到手势和语音指令时，才进行相结合的手势识别和语音指令识别连同随后的控制指令的产生。由此保证了，仅在组合分析了手势和相应的语音指令之后才执行相应的控制指令，从而可以通过特别可靠的方式和方法进行对乘员期望的解读。换句话说，可靠地预防了在与相应物体的互动方面对乘员期望的错误解读。
在本发明的另一有利的设计方案中，检测并鉴别出指向另一个机动车的手势以及结合所解读的语音指令(借助所述语音指令要求建立与另一个机动车的通信装置的通信连接)利用相应的控制指令操纵辅助系统的通信装置以建立通信连接。通信连接例如可以是聊天功能、电话通话等。因此，可以通过特别简单的方式建立与来自周围环境的另一个机动车的通信连接，而乘员不必例如选择号码。
根据本发明的另一有利的实施方案，检测和解读指向布置在机动车外部的物体的手势以及结合被解读为信息询问的语音指令利用控制指令操控辅助系统的导航单元以提供关于所述物体的信息。该物体可以是所谓的兴趣点，该兴趣点例如形式是旅馆、餐馆等，从而通过相结合地分析乘员的手势和语音指令可以向乘员提供相应的信息。
在本发明的另一有利的实施方案中，检测和解读指向布置在机动车外部的物体的手势以及结合被鉴别为导航指令的语音指令利用相应的控制指令操控辅助系统的导航单元以确定去往物体的路线。因此可以取消为了确定去往期望物体的相应路线而在导航单元处进行的费力的输入，从而能够特别简单地由乘员要求并提供相应的导航功能。
在本发明的另一有利的设计方案中，一旦识别了指向布置在机动车外部的物体的手势，则在机动车的接触模拟的(kontaktanalog)平视显示器中突出强调该物体。由此实现了乘员与位于机动车周围环境中的相应物体的特别简单的互动。同时为乘员直接可视化了，其以其手势选择了哪个物体，从而在错误解读手势的情况下，对乘员来说可直接识别出该错误。
根据本发明的用于运行机动车的控制系统包括：手势识别单元，该手势识别单元被设计用于，识别乘员的指向物体的手势；数据处理单元，其设计用于，解读检测到的手势、鉴别所述物体和基于所解读的手势和鉴别出的物体产生至少一个控制指令，以及根据控制指令操控机动车的辅助系统，其中，根据本发明的控制系统的突出之处在于，控制系统包括语音识别单元，该语音识别单元被设计用于，检测乘员在检测手势之前、期间或之后所发出的语音指令；所述数据处理单元被设计用于，以相结合的方式解读手势和语音指令，并且基于对手势和语音指令的相结合的解读生成控制指令。根据本发明的方法的有利的实施方式可视作控制系统的有利的实施方案，其中在此控制系统尤其包括藉之可以执行所述方法步骤的部件。
控制系统的一有利的实施方案的突出之处在于，手势识别单元被设计用于，仅监控机动车的可预先规定的内部空间区域并检测位于该内部空间区域中的乘员的手势。换句话说，仅检测某个乘员的手势并结合其语音指令转化为相应的控制指令。由此保证了，不是多个乘员能够同时给出例如不同的手势和相应的语音指令，这会导致矛盾的控制指令或不同的控制指令。
本发明的其它优点、特征和细节由下面对优选实施例的描述并且借助附图得出。前面在说明书中所述的特征和特征组合以及后面在附图描述中所述的和/或在附图中单独示出的特征和特征组合不仅在各个给出的组合中而且还可在其它组合中使用或者单独使用，而没有背离本发明的范围。
附图说明
下面借助示意图详细阐述本发明的实施例。其中示出了：
图1示出了机动车的示意图，其具有用于运行机动车的控制系统、接触模拟的平视显示器、机动车内部的物体以及机动车的内部空间区域中的乘员；以及
图2示出了图1中示出的机动车和另一个机动车的示意图以及布置在图1中示出的机动车之外的物体。
在附图中，相同的或功能相同的元件具有相同的附图标记。
具体实施方式
在图1中示出了机动车10的示意图。机动车10包括一控制系统12，该控制系统具有：手势识别单元14、语音识别单元16、数据处理单元18和辅助系统20，该辅助系统包括导航单元22和通信装置24。此外，机动车10包括接触模拟的平视显示器26，借助该平视显示器例如能为坐在机动车10内部空间区域30内的乘员28提供在机动车10的在此未示出的挡风玻璃的区域中的投影。最后，机动车10还包括一布置在机动车10的内部空间中的物体32。物体32例如可以是操作元件、自动空调装置、显示器或类似物。物体32在此同样也可以是辅助系统20的一部分，从而该物体32能借助于相应的控制指令通过数据处理单元18来操控。
手势识别单元14被设计用于，识别乘员28指向机动车10内或者机动车10外的物体32或者另一在此未详细示出的物体的手势。此外，手势识别单元14被设计用于，仅监控机动车10的内部空间区域30并且检测位于该内部空间区域30中的乘员28的手势。待监控的内部空间区域30在此例如可以包括一围绕机动车的驾驶员座位或机动车10内部的其它座位周围的区域。为了识别乘员28的相应的手势，手势识别单元14例如可以具有在此未示出的摄像机，借助所述摄像机可以检测乘员28的相应的运动或者说手势。乘员28的对准相应的物体32或其它物体的手势例如可以是借助于手势识别单元14检测的手指示意、另一种手部运动或者类似运动。
语音识别单元16被设计用于，对乘员28在检测手势之前、期间或之后所发出的语音指令进行检测。为此，语音识别单元16例如可以使用单独的在此未示出的麦克风或者例如也可以使用机动车10的免提电话设备的已经安装在机动车10中的麦克风。在此借助语音识别单元16还能够检测机动车10的在此未示出的其它乘员的语音指令。
手势识别单元14和语音识别单元16与数据处理单元18相连接，从而可以将相应检测到的手势或者语音指令传输给数据处理单元18。数据处理单元18被设计用于：解读所检测到的手势；鉴别借助手势所指的物体32或其它物体；以及解读乘员28的相应的语音指令。此外，数据处理单元18被设计用于：以相结合的方式解读手势、所鉴别的物体和语音指令；并且根据相结合的解读来产生相应的控制指令并且根据该控制指令来操控辅助系统20。下面对借助控制系统12来运行机动车10的方法进行阐述。
在图2中以示意图示出了机动车10、另一机动车34和另一物体36。物体36例如可以是形式为旅馆、餐馆等的所谓的兴趣点。首先乘员28希望与机动车10内的物体32互动。在本情况下，物体32是自动空调装置的操作部件，其中乘员28希望提高机动车10内的室温。首先，乘员28利用其食指指向物体32并且发出语音指令“车厢内温度提高2℃”。
手势识别单元14识别出对物体32的手指示意，并且语音识别单元16同时检测出由乘员28发出的语音指令。这些信息被传输给数据处理单元18，该数据处理单元一方面解读乘员28对物体32的手指示意并且借助其鉴别出物体32、在本情况下即自动空调装置的操作部件。此外，数据处理单元18解读乘员28的语音指令，由此数据处理单元18识别出，机动车10内的车厢内温度应提高2℃。换句话说，通过数据处理单元18实现了对手势、所鉴别的物体32和语音指令的相结合的解读，此后根据该相结合的解读借助数据处理单元18产生了相应的控制指令。
随后数据处理单元18利用控制指令相应地操纵物体32。因此最后机动车10内的室温被提高了所希望的2℃，或者以下述方式来操控机动车10的、在此未详细示出的自动空调装置：机动车10内的室温如所希望的那样被提高。物体32在此基本上可以是机动车10内的任意物体，乘员28能够与该物体互动以驱动或操作机动车10或其功能。
此外乘员28可能还希望，建立与另一机动车34或驾驶机动车34的乘员38的通信连接。换句话说，要建立在机动车10的通信装置24与另一机动车34的通信装置40之间的通信连接。为此，乘员28指向在前方行驶的车辆34并且在此之前不久、同时或此后不久发出相应的语音指令，例如“与该机动车建立电话连接”。
手势识别单元14首先检测乘员28的指向机动车34的手势。为了能尤其识别出：乘员28已经指向机动车34，在识别出该手势之后首先查明机动车位置和机动车方向。这例如可以借助导航单元22来实现，借助于该导航单元提供了相应的GPS-信息。此外，机动车10例如可以包括指南针等，借助该指南针能查明机动车10的方向。此外还可以考虑机动车10的里程表数据、例如所经过的路程和/或加速度用以查明位置。
为了识别出涉及机动车34，控制系统12或者手势识别单元14可以与安装在机动车10上的、一个在此未示出的摄像机或多个摄像机连接，借助该一个摄像机或者多个摄像机可识别出，乘员28现在指向另一机动车34。数据处理单元18现在评估所识别出的手势、语音指令和对另一机动车34的鉴别，此后产生相应的控制指令用以建立机动车10的通信装置24与另一机动车34的通信装置40之间的通信连接。随后，乘员28可以与乘员38通信。
控制系统12还可以用于，输出关于机动车10外部的相应物体(在本情况下是物体36)的信息。在此物体36是位于乘员28的可视范围中的旅馆。乘员28指向该物体36并且同时发出语音指令：“这家旅馆中的房间多少钱？”。
为了鉴别物体36，又要查明机动车位置以及机动车方向，随后通过与环境模型进行比较、例如通过与数字地图信息进行比较来鉴别物体36。数据处理单元18又评估手势、所鉴别的物体36和相应的语音指令，此后数据处理单元18将相应的控制指令发送给导航单元22，于是该导航单元将所希望获得的价格信息输出给乘员28。替选地，相应的控制指令还可以被发送给通信装置24，该通信装置例如建立网络连接，以便寻找相应的地信息并且提供给乘员28。
此外还能实现，乘员28希望获得前往物体36的导航。与相应的手指示意或指向物体36的另一个手势和形式为导航指令的语音指令相结合，这些信息通过控制系统12又以组合的方式进行评估，从而数据处理单元18将相应的控制指令传输给导航单元22，以便对其进行相应地操控，从而导航单元22计算出前往物体36的路线42，乘员28沿着该路线被导航直至到达物体36。
为了简化对控制系统12的操作，在此可以只要识别出指向物体36的手势就在接触模拟的平视显示器26中突出显示设置在机动车10外部的物体36或其它物体。由此乘员28获得相应的支持，从而附加地使得在乘员28和这种物体36之间的互动变得容易。
此外，组合的手势识别和语音指令识别与随后的控制指令生成仅在下述情况下实现：在预先给定的持续时间内检测到手势和语音指令。换句话说可以规定，控制系统12仅在下述情况下生成相应的控制指令：乘员28的相应的手势和相应的语音指令在预先给定的时间窗内实现。由此改善了对乘员28的希望的解读，因为总是组合地评估手势和语音指令。
总之借助控制系统12能实现在乘员28与相应的物体32或36之间的特别简单且直观的互动，从而乘员28能以特别简单的方式使用机动车10的多种多样的功能，而不会过分地把注意力从其原本的驾驶任务转移。除了简化地操作机动车10之外，由此附加地显著改善了当在道路交通中驾驶机动车10时的安全性。

Claims (11)

1.一种用于运行机动车(10)的方法，具有下述步骤：
-借助手势识别单元(14)检测乘员(28)指向物体(32，36)的手势；
-借助数据处理单元(18)解读所述手势和鉴别所述物体(32，36)；
-借助所述数据处理单元(18)根据所解读出的手势和所鉴别出的物体(32，36)生成相应的控制指令以及根据所述控制指令操控机动车(20)的辅助系统(20)；
其特征在于下述步骤：
-借助语音识别单元(16)检测乘员(28)在检测手势之前、期间或之后所发出的语音指令；
-借助所述数据处理单元(18)对手势、所鉴别出的物体(32，36)和语音指令相结合地进行解读以及根据相结合的解读生成控制指令。
2.根据权利要求1所述的方法，其特征在于，
不仅在手势指向设置在机动车外部的物体(36)的情况下，而且在手势指向设置在机动车内部的物体(32)的情况下，对所述手势进行检测和解读以及对所述物体(32，36)进行鉴别。
3.根据权利要求1或2所述的方法，其特征在于，
作为手势对乘员(28)的下述手指运动进行检测，即：借助所述手指运动指出物体(32，36)。
4.根据上述权利要求中任一项所述的方法，其特征在于，
为了鉴别所述物体(32，36)，查明机动车位置和机动车方向，然后通过与数字地图信息进行比较来鉴别出所述物体(32，36)。
5.根据上述权利要求中任一项所述的方法，其特征在于，
相结合的手势识别和语音指令识别与随后的控制指令生成仅在下述情况下实现，即：在预先给定的持续时间内检测到手势和语音指令。
6.根据上述权利要求中任一项所述的方法，其特征在于，
对指向另一个机动车(34)的手势进行检测和鉴别，以及结合被解读出的、藉之要求与所述另一个机动车(34)的通信装置(40)建立通信连接的语音指令，用相应的控制指令操控辅助系统(20)的通信装置(24)以建立通信连接。
7.根据权利要求1至6中任一项所述的方法，其特征在于，
对指向布置在机动车外部的物体(36)的手势进行检测和解读，以及结合被解读为信息询问的语音指令，用相应的控制指令操控辅助系统(20)的导航单元(22)以提供关于所述物体(36)的信息。
8.根据权利要求1至6中任一项所述的方法，其特征在于，
对指向布置在机动车(10)外部的物体(36)的手势进行检测和解读，以及结合被鉴别为导航指令的语音指令，用相应的控制指令操控辅助系统(20)的导航单元(22)以确定前往所述物体(36)的路线(42)。
9.根据上述权利要求中任一项所述的方法，其特征在于，
一旦识别出指向布置在机动车(10)外部的物体(36)的手势，就在机动车(10)的接触模拟的平视显示器(26)中突出显示该物体(36)。
10.一种用于运行机动车(10)的控制系统(12)，包括：
-手势识别单元(14)，所述手势识别单元被设计用于，识别乘员(28)的指向物体(32，36)的手势；
-数据处理单元(18)，所述数据处理单元被设计用于，解读检测到的手势、鉴别所述物体(32，36)并根据所解读出的手势和鉴别出的物体生成至少一个控制指令以及根据所述控制指令操控机动车(10)的辅助系统(20)，
其特征在于，
-所述控制系统(12)包括语音识别单元(16)，所述语音识别单元被设计用于，检测乘员(28)在检测手势之前、期间或之后所发出的语音指令；以及
-所述数据处理单元(18)被设计用于，对手势、所鉴别出的物体(32，36)和语音指令相结合地进行解读，并根据相结合的解读生成控制指令。
11.根据权利要求10所述的控制系统(12)，其特征在于，手势识别单元(14)被设计用于，仅监控机动车(10)的能预先给定的内部空间区域(30)和检测位于该内部空间区域(30)中的乘员(28)的手势。
CN201380035025.9A 2012-07-06 2013-07-08 用于运行机动车的方法和控制系统 Pending CN104412068A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102012013503.3A DE102012013503B4 (de) 2012-07-06 2012-07-06 Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens
DE102012013503.3 2012-07-06
PCT/EP2013/002001 WO2014005722A1 (de) 2012-07-06 2013-07-08 Verfahren und steuerungssystem zum betreiben eines kraftwagens

Publications (1)

Publication Number Publication Date
CN104412068A true CN104412068A (zh) 2015-03-11

Family

ID=48783178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380035025.9A Pending CN104412068A (zh) 2012-07-06 2013-07-08 用于运行机动车的方法和控制系统

Country Status (5)

Country Link
US (1) US9493169B2 (zh)
EP (1) EP2870430B1 (zh)
CN (1) CN104412068A (zh)
DE (1) DE102012013503B4 (zh)
WO (1) WO2014005722A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960486A (zh) * 2016-01-08 2017-07-18 福特全球技术公司 通过手势识别和语音命令进行功能特性激活的系统和方法
CN108475485A (zh) * 2015-12-21 2018-08-31 宝马股份公司 显示装置和用于控制显示装置的方法
CN109476321A (zh) * 2016-07-08 2019-03-15 奥迪股份公司 对机动车辅助系统的主动式控制
CN109976515A (zh) * 2019-03-11 2019-07-05 百度在线网络技术（北京）有限公司 一种信息处理方法、装置、车辆及计算机可读存储介质
CN110543230A (zh) * 2018-05-28 2019-12-06 广州彩熠灯光有限公司 基于虚拟现实的舞台灯光元素的设计方法及设计系统
CN110727346A (zh) * 2019-09-24 2020-01-24 中国第一汽车股份有限公司 一种人机交互方法、装置、车辆及存储介质
CN110774992A (zh) * 2018-07-24 2020-02-11 本田技研工业株式会社 操作辅助系统和操作辅助方法
CN111727144A (zh) * 2018-02-23 2020-09-29 宝马股份公司 用于运行能至少部分地自动化驾驶的运输工具的装置和方法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012013503B4 (de) 2012-07-06 2014-10-09 Audi Ag Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens
JP6851133B2 (ja) * 2014-01-03 2021-03-31 ハーマン インターナショナル インダストリーズ インコーポレイテッド ユーザに方向付けられた個人情報アシスタント
DE102014200782A1 (de) * 2014-01-17 2015-07-23 Bayerische Motoren Werke Aktiengesellschaft Betreiben eines Fahrzeugs gemäß dem Wunsch eines Fahrzeuginsassen
DE102014208663A1 (de) * 2014-05-08 2015-11-12 Conti Temic Microelectronic Gmbh Vorrichtung und verfahren zur bereitstellung von informationsdaten zu einem in einem videobildstrom enthaltenen objekt einer fahrzeugumgebung
KR20160001178A (ko) 2014-06-26 2016-01-06 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
DE102014214514A1 (de) * 2014-07-24 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Austausch von Daten zwischen Fahrzeugen zum Einrichten einer Kolonnenfahrt
US20170176207A1 (en) * 2015-12-17 2017-06-22 Jaguar Land Rover Limited In vehicle system and method for providing information regarding points of interest
FR3049078B1 (fr) * 2016-03-21 2019-11-29 Valeo Vision Dispositif et procede de commande a reconnaissance vocale et/ou gestuelle pour l'eclairage interieur d'un vehicule
DE102016206694B4 (de) 2016-04-20 2023-10-05 Volkswagen Aktiengesellschaft Assistenzsystem und Verfahren eines hochautomatisierten Fahrzeugs zur Verbesserung des Zusammenwirkens mit anderen Verkehrsteilnehmern
US20170350718A1 (en) * 2016-06-03 2017-12-07 Toyota Motor Sales, U.S.A., Inc. Information-attainment system based on monitoring an occupant
US10241584B2 (en) * 2016-09-28 2019-03-26 Lenovo (Singapore) Pte. Ltd. Gesture detection
DE102016221564A1 (de) 2016-10-13 2018-04-19 Bayerische Motoren Werke Aktiengesellschaft Multimodaler Dialog in einem Kraftfahrzeug
US10692489B1 (en) * 2016-12-23 2020-06-23 Amazon Technologies, Inc. Non-speech input to speech processing system
US10692485B1 (en) * 2016-12-23 2020-06-23 Amazon Technologies, Inc. Non-speech input to speech processing system
US10176807B2 (en) * 2017-04-17 2019-01-08 Essential Products, Inc. Voice setup instructions
US10353480B2 (en) * 2017-04-17 2019-07-16 Essential Products, Inc. Connecting assistant device to devices
US10355931B2 (en) * 2017-04-17 2019-07-16 Essential Products, Inc. Troubleshooting voice-enabled home setup
US10647332B2 (en) * 2017-09-12 2020-05-12 Harman International Industries, Incorporated System and method for natural-language vehicle control
DE102017011498B4 (de) 2017-12-13 2022-08-18 Mercedes-Benz Group AG Verfahren zum Betreiben eines Assistenzsystems und ein Assistenzsystem für einen Kraftwagen
FR3075427A1 (fr) * 2017-12-18 2019-06-21 Orange Assistant vocal
US11273836B2 (en) * 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
US10496366B2 (en) 2018-04-18 2019-12-03 Comcast Cable Communications, Llc Method to determine intended direction of a vocal command and target for vocal interaction
DE102018210528A1 (de) 2018-06-27 2020-01-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Dialogsystems
DE102018215293A1 (de) * 2018-09-07 2020-03-12 Bayerische Motoren Werke Aktiengesellschaft Multimodale Kommunikation mit einem Fahrzeug
KR20200071841A (ko) * 2018-12-03 2020-06-22 현대자동차주식회사 차량용 음성명령어 처리 장치 및 그 방법
CN109703567A (zh) * 2019-01-25 2019-05-03 安徽酷哇机器人有限公司 车辆控制方法
DE102019003785A1 (de) 2019-05-29 2020-01-02 Daimler Ag Verfahren zum Betrieb eines Fahrzeugs
DE102019210144A1 (de) * 2019-07-10 2021-01-14 Zf Friedrichshafen Ag Kombination von Sensorsystemen im Fahrzeug zum Verbessern des Erkennens von Nutzerbefehlen
US11972095B2 (en) * 2021-03-23 2024-04-30 Microsoft Technology Licensing, Llc Voice assistant-enabled client application with user view context and multi-modal input support

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050134117A1 (en) * 2003-12-17 2005-06-23 Takafumi Ito Interface for car-mounted devices
DE102008051756A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
CN101802886A (zh) * 2007-10-12 2010-08-11 三菱电机株式会社 车载信息提供装置
US20100228612A1 (en) * 2009-03-09 2010-09-09 Microsoft Corporation Device transaction model and services based on directional information of device
CN101871786A (zh) * 2009-04-27 2010-10-27 通用汽车环球科技运作公司 动作致动的兴趣点信息系统和方法
CN102308185A (zh) * 2009-02-09 2012-01-04 大众汽车有限公司 用于运行具有触屏的机动车的方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7489303B1 (en) * 2001-02-22 2009-02-10 Pryor Timothy R Reconfigurable instrument panels
US9513744B2 (en) * 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
US7527288B2 (en) * 1995-06-07 2009-05-05 Automotive Technologies International, Inc. Vehicle with crash sensor coupled to data bus
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6545670B1 (en) * 1999-05-11 2003-04-08 Timothy R. Pryor Methods and apparatus for man machine interfaces and related activity
US6710770B2 (en) * 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
US7920102B2 (en) * 1999-12-15 2011-04-05 Automotive Technologies International, Inc. Vehicular heads-up display system
US6498970B2 (en) * 2001-04-17 2002-12-24 Koninklijke Phillips Electronics N.V. Automatic access to an automobile via biometrics
JP2006015436A (ja) * 2004-06-30 2006-01-19 Honda Motor Co Ltd 監視ロボット
JP4755556B2 (ja) * 2006-09-04 2011-08-24 クラリオン株式会社 車載装置
US7937667B2 (en) * 2006-09-27 2011-05-03 Donnelly Corporation Multimedia mirror assembly for vehicle
DE112009000684A5 (de) * 2008-03-26 2011-05-26 Ident Technology Ag System und Verfahren zur multidimensionalen Gestenauswertung
US20090319166A1 (en) * 2008-06-20 2009-12-24 Microsoft Corporation Mobile computing services based on devices with dynamic direction information
DE102009037835B4 (de) 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
DE102009059981A1 (de) 2009-12-22 2011-06-30 Volkswagen AG, 38440 Verfahren zum Anzeigen einer Mehrzahl auswählberer Elemente und Vorrichtung zum Durchführen des Verfahrens
DE102010002741A1 (de) 2010-03-10 2011-09-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Informationssystems, Benutzervorrichtung und Informationssystem
US8296151B2 (en) * 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
DE202012005255U1 (de) * 2012-05-29 2012-06-26 Youse Gmbh Bedienvorrichtung mit einer Gestenüberwachungseinheit
US9092394B2 (en) * 2012-06-15 2015-07-28 Honda Motor Co., Ltd. Depth based context identification
DE102012013503B4 (de) 2012-07-06 2014-10-09 Audi Ag Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050134117A1 (en) * 2003-12-17 2005-06-23 Takafumi Ito Interface for car-mounted devices
CN101802886A (zh) * 2007-10-12 2010-08-11 三菱电机株式会社 车载信息提供装置
DE102008051756A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
CN102308185A (zh) * 2009-02-09 2012-01-04 大众汽车有限公司 用于运行具有触屏的机动车的方法
US20100228612A1 (en) * 2009-03-09 2010-09-09 Microsoft Corporation Device transaction model and services based on directional information of device
CN101871786A (zh) * 2009-04-27 2010-10-27 通用汽车环球科技运作公司 动作致动的兴趣点信息系统和方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475485B (zh) * 2015-12-21 2021-06-25 宝马股份公司 显示装置和用于控制显示装置的方法
CN108475485A (zh) * 2015-12-21 2018-08-31 宝马股份公司 显示装置和用于控制显示装置的方法
CN106960486B (zh) * 2016-01-08 2021-08-31 福特全球技术公司 通过手势识别和语音命令进行功能特性激活的系统和方法
CN106960486A (zh) * 2016-01-08 2017-07-18 福特全球技术公司 通过手势识别和语音命令进行功能特性激活的系统和方法
CN109476321A (zh) * 2016-07-08 2019-03-15 奥迪股份公司 对机动车辅助系统的主动式控制
CN109476321B (zh) * 2016-07-08 2020-03-27 奥迪股份公司 对机动车辅助系统的主动式控制
US10843707B2 (en) 2016-07-08 2020-11-24 Audi Ag Proactive control of an assistance system of a motor vehicle
CN111727144B (zh) * 2018-02-23 2023-06-30 宝马股份公司 用于运行能至少部分地自动化驾驶的运输工具的装置和方法
CN111727144A (zh) * 2018-02-23 2020-09-29 宝马股份公司 用于运行能至少部分地自动化驾驶的运输工具的装置和方法
CN110543230A (zh) * 2018-05-28 2019-12-06 广州彩熠灯光有限公司 基于虚拟现实的舞台灯光元素的设计方法及设计系统
CN110774992A (zh) * 2018-07-24 2020-02-11 本田技研工业株式会社 操作辅助系统和操作辅助方法
CN109976515A (zh) * 2019-03-11 2019-07-05 百度在线网络技术（北京）有限公司 一种信息处理方法、装置、车辆及计算机可读存储介质
CN110727346A (zh) * 2019-09-24 2020-01-24 中国第一汽车股份有限公司 一种人机交互方法、装置、车辆及存储介质

Also Published As

Publication number Publication date
DE102012013503B4 (de) 2014-10-09
EP2870430B1 (de) 2016-04-13
DE102012013503A1 (de) 2014-01-09
US9493169B2 (en) 2016-11-15
US20150336588A1 (en) 2015-11-26
WO2014005722A1 (de) 2014-01-09
EP2870430A1 (de) 2015-05-13

Similar Documents

Publication Publication Date Title
CN104412068A (zh) 用于运行机动车的方法和控制系统
US11366513B2 (en) Systems and methods for user indication recognition
AU2018266108B2 (en) Destination changes in autonomous vehicles
US10417510B2 (en) System, methods, and apparatus for in-vehicle fiducial mark tracking and interpretation
US10942566B2 (en) Navigation service assistance system based on driver line of sight and vehicle navigation system using the same
CN105136161B (zh) 用于运行具有触屏的机动车的方法和相应的机动车
US9535602B2 (en) System and method for promoting connectivity between a mobile communication device and a vehicle touch screen
US11054818B2 (en) Vehicle control arbitration
US10983691B2 (en) Terminal, vehicle having the terminal, and method for controlling the vehicle
WO2013128291A2 (en) Method of fusing multiple information sources in image-based gesture recognition system
US20160021167A1 (en) Method for extending vehicle interface
US20160163129A1 (en) Interactive access to vehicle information
KR20170053903A (ko) 차량 간 메시지 전송 장치 및 방법
CN104034341A (zh) 车载导航方法及系统、车载终端及其导航信息的获取方法
WO2016035281A1 (ja) 車載システム、情報処理方法、およびコンピュータプログラム
US20210087869A1 (en) Method and Device for the Non-Mechanical Activation of a Closure Arrangement
CN107924619A (zh) 用户可配置的车辆停放警报系统
US9869760B2 (en) System and method for recognizing a motion by analyzing a radio signal
CN104903831A (zh) 用于在交通工具内提供用户界面的方法和设备
US10871375B2 (en) Method for operating a navigation system
KR101856255B1 (ko) 내비게이션 디스플레이 장치
US20180018289A1 (en) Method for Recognizing Software Applications and User Inputs
CN104019826A (zh) 一种基于触控的自动导航方法及系统
KR20240023253A (ko) 메타버스 기반 차량용 디스플레이 장치 및 이를 위한 제어 방법
KR20160076894A (ko) 도보 경로를 안내하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록매체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150311

RJ01 Rejection of invention patent application after publication