CN113994312A - 通过手势识别和控制设备运行移动终端的方法、手势识别和控制设备、机动车及可佩戴在头上的输出装置 - Google Patents

通过手势识别和控制设备运行移动终端的方法、手势识别和控制设备、机动车及可佩戴在头上的输出装置 Download PDF

Info

Publication number
CN113994312A
CN113994312A CN202080044013.2A CN202080044013A CN113994312A CN 113994312 A CN113994312 A CN 113994312A CN 202080044013 A CN202080044013 A CN 202080044013A CN 113994312 A CN113994312 A CN 113994312A
Authority
CN
China
Prior art keywords
mobile terminal
gesture
control device
gesture recognition
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080044013.2A
Other languages
English (en)
Inventor
N·库尔巴特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of CN113994312A publication Critical patent/CN113994312A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1468—Touch gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/563—Vehicle displaying mobile device information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/569—Vehicle controlling mobile device functions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B60K2360/577—Mirror link with mobile devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种用于运行移动终端(22)的方法。手势识别和控制设备(10)识别移动终端(22)(S1)并确定由识别出的移动终端(22)的显示设备(24)生成的当前图形用户界面(S2)。手势识别和控制设备(10)提供输出信号，该输出信号描述作为显示内容的由识别出的移动终端(22)的显示设备(24)生成的图形用户界面(S3)，并将提供的输出信号传输到可以佩戴在头部上的输出装置(18)，以用于在机动车(12)内部的预定输出区域(32)中将显示内容作为由输出装置(18)输出的增强现实或虚拟现实的一部分来输出(S4)。在输出显示内容的同时，手势识别和控制设备(10)识别用户的空间手势(S7)，并基于此生成遥控信号(S10)用于触发移动终端(22)的操作功能(S12)，并将生成遥控信号发送到识别出的移动终端(22)的控制设备(26)(S11)。

Description

通过手势识别和控制设备运行移动终端的方法、手势识别和 控制设备、机动车及可佩戴在头上的输出装置
技术领域
本发明涉及一种用于运行移动终端，例如智能手机或平板电脑的方法，其中该方法由手势识别和控制设备执行。手势识别和控制设备应理解为一种设置用于识别操作手势的仪器、仪器组件或仪器组；它/它们还被设置为接收和评估信号并生成控制信号。可选地，手势识别和控制设备也可以设计为捕捉操作手势，例如通过摄像机。
背景技术
作为通过人机界面(“MMI”)操作车辆系统的替代方案以及作为由驾驶员操作的替代方案，为例如现代机动车后部的乘客提供移动终端，例如平板电脑供使用，在其上可以显示车辆功能，例如当前速度。在此涉及硬件操作部件，该硬件操作部件例如能够设置车辆功能、导航和媒体内容。这在那些经常有人驾驶的车辆中尤其重要，例如在司机服务的车辆中。
然而，这种示例性的平板电脑现在作用起来相当老式，且也只能由一名乘客使用。使用移动终端(例如智能手机)时也会出现同样的问题。
DE 10 2016 207 530 A1描述了一种用于显示虚拟车辆内部空间的系统，具有一个或多个车辆内部组件以及具有数字眼镜，该数字眼镜设置为向用户在视觉上显示虚拟车辆内部空间以及在视觉显示时考虑一个或多个车辆内部空间组件。
从EP 3 079 041 A1已知一种用于为陆地和空中交通工具的乘客提供虚拟现实环境的方法和系统。
DE 10 2017 211 521 A1描述了一种用于运送至少一个用户的机动车，其具有子系统，该子系统设置用于执行机动车的物理功能。
发明内容
本发明的一个目的是简化机动车中移动终端的操作。
提出的该目的通过根据本发明的方法和根据本发明的装置实现。从属权利要求给出了有利的改进方案。
本发明的基本思想在于：将移动终端的用户界面镜像/投屏/共享(spiegeln)到可佩戴在头上的输出装置上并执行空间手势识别以操作镜像用户界面/被投屏的用户界面。空间手势被理解为一种手势，尤其是操作手势，其中，无需触摸触敏表面(例如触摸屏或触摸板)，而是在空间内自由地执行手势。空间手势例如可以是预定的手指姿势和/或手部姿势和/或例如手的运动。
换句话说，在可佩戴在头上的数据眼镜上输出的虚拟或增强现实(“AugmentedReality”，“AR”)中融入了移动终端的用户界面的图像并将其镜像到机动车中。具有相应设置的手势识别和控制设备的机动车与所有移动终端和可佩戴在头上的输出装置兼容。
由此，移动终端的操作不仅非常现代，而且用户在使用可佩戴在头上的用于娱乐功能、例如VR视频游戏的输出装置时，还可以操作移动终端。用户不必每次都摘下输出装置、例如数据眼镜来例如接听电话或在移动终端的日历中查找内容。因而得出了能够例如从后排无需离开虚拟现实(VR)(或增强现实)而对移动终端的全面操作。还能够在用户的任意坐姿和/或卧姿下操作移动终端，在坐姿和/或卧姿时用户可能无法够到移动终端并将其拿来例如在移动终端的触摸屏上执行滑擦手势。通过根据本发明的方法和根据本发明的装置还提供了完全可配置和可扩展的系统。如果机动车以全自动驾驶模式(即，领航驾驶模式)运行，则本发明也可用于机动车的驾驶员。
换句话说，提供了能够例如当后排用户忙于娱乐系统并例如体验游戏时使用的或者例如在自动驾驶时(级别5)供驾驶员本人参加VR会议使用的遥控操作。
此外有利的是，无需在移动终端上安装用于虚拟现实或增强现实的软件。
根据本发明的用于运行移动终端、例如智能手机的方法由手势识别和控制设备、尤其是机动车的手势识别和控制设备来执行。手势识别和控制设备例如可以设计为控制芯片或控制器，并且可以具有例如手势识别软件和/或例如用于捕捉操作手势的摄像机。
识别移动终端，尤其是位于机动车中或机动车上的移动终端。例如，可以通过蓝牙连接识别移动终端。通过手势识别和控制设备确定由被识别的移动终端的输出设备生成的、提供了能够用于触发移动终端的操作功能的操作选项的当前图形用户界面。
通过手势识别和控制设备提供输出信号，该输出信号描述作为显示内容的、由移动终端的显示设备生成的图形用户界面。显示设备应理解为用于显示图像内容的仪器组件，尤其是触敏显示屏。例如，可以将移动终端的输出信号传输给手势识别和控制设备，于是由手势识别和控制设备提供的输出信号可以例如是移动终端的输出信号。备选地，可以通过手势识别和控制设备生成输出信号来提供输出信号，其中，生成的输出信号可以描述移动终端的图形用户界面的图像。
由手势识别和控制设备提供的输出信号通过该手势识别和控制设备传输给可佩戴在头上的输出装置。换句话说，例如，移动终端的输出信号被传输至可佩戴在头上的输出装置，图形用户界面被镜像到可佩戴在头上的输出装置的显示面上，或可佩戴在头上的输出装置的显示面被与移动终端的屏幕同步。
可佩戴在头上的输出装置是用于输出增强现实和/或虚拟现实的输出器。可佩戴在头上的输出装置可优选设计为数据眼镜或现有技术中已知的另一种“头戴式显示器”(“HMD”)，即戴在头上的可视输出器。
所提供的输出信号传输至可佩戴在头上的输出装置，以用于在机动车的内部空间中在预定的输出区域中将该显示内容作为通过输出装置提供或输出的增强或虚拟现实的一部分来输出。换言之，显示内容不显示在预定的输出区域中，例如后座上的用户和前座的靠背之间的区域中，而是显示在可佩戴在头上的输出装置的显示面上，以便当视线看向预定的输出区域的方向时在该处出现显示内容。换言之，显示内容输出在可佩戴在头上的输出装置的位于用户看向预定输出区域的视线方向上的显示面的部分上。
在输出显示内容时，基于提供的操作选项识别用户的非接触式操作手势。如果移动终端当前提供的用户界面提供操作选项以便通过例如在屏幕上的滑擦来选择移动终端当前打开的程序，那么当图形用户界面被镜像到可佩戴在头上的输出装置时，可以由手势识别和控制设备识别空间手势，该空间手势例如可以是在空间内进行非接触式滑擦。通过该识别出的非接触式操作手势，即识别出的空间手势，可以在不接触移动终端屏幕的情况下触发移动终端的程序选择。由于图形用户界面还从移动终端被镜像到可佩戴在头上的输出装置上，因此用户于是作为显示内容看到所选的程序的打开。
如果手势识别和控制设备例如具有摄像机，例如飞行时间摄像机，则可以在识别非接触式操作手势之前进行对非接触式操作手势的检测。
手势识别和控制设备基于识别出的非接触式操作手势生成遥控信号，其中，所生成的遥控信号描述对与该识别出的非接触式操作手势相对应的移动终端的操作功能的触发。用于触发操作功能的非接触式操作手势优选地可以是与配属于操作功能的触摸手势的相似或类似的空间手势。例如，如果触摸手势是在移动终端的屏幕上从左向右滑擦，则触发操作功能的相应空间手势可以是用户的手在空间中从左向右运动。
手势识别和控制设备将生成的遥控信号传输至识别出的移动终端的控制设备，以用于触发操作功能。控制设备应理解为用于接收和评估信号以及用于产生控制信号的仪器组件或例如构件组。识别出的移动终端的控制设备例如可以是控制芯片。
换句话说，对于在移动终端中与例如在移动终端的触摸屏上的触摸手势相对应的操作功能，当图形用户界面被镜像到可佩戴在头上的输出装置上时，为该操作功能分配非接触式操作手势。换言之，图形用户界面提供了操作选项，此时在直接操作移动终端时，可以通过操作手势、尤其是触摸手势来触发操作功能。然而，根据本发明的方法，操作功能通过在虚拟或增强现实中的镜像用户界面上借助于非接触式操作手势，即空间手势，间接来触发，该空间手势不是被移动终端识别，而是被手势识别和控制设备识别。
由此得到上述优点。
为特定于用户地实施，根据本发明的方法的实施方案可以规定，通过手势识别和控制设备识别另一非接触式操作手势，尤其在通过可佩戴在头上的输出装置输出显示内容期间识别另一非接触式操作手势，其中，该另一非接触式操作手势可以规定显示内容(即镜像用户界面的图像)在机动车内部空间中的定位或放置位置。换言之，该另一非接触式操作手势规定了，当用户佩戴了可佩戴在头上的输出装置时，应该在机动车中的哪个地点或地方或位置能看到或出现显示内容。随后可以通过手势识别和控制设备根据识别出的该另一非接触式操作手势规定输出区域。换言之，可以规定和/或改变显示内容的虚拟位置。
在根据本发明的方法的另一优选实施方案中，手势识别和控制设备可以识别另一非接触式操作手势，其可以描述对显示内容(即镜像用户界面的图像)的缩放。换言之，该另一非接触式操作手势例如可以指定和/或改变显示内容的格式和/或大小。然后通过手势识别和控制设备可以缩放示出显示内容的图像。根据识别出的该另一非接触式操作手势进行图像的缩放。在此得到了针对先前实施方案已经描述的优点。
为了定位和/或缩放显示内容，可以可选地由手势识别和控制设备对相应的另一非接触式操作手势进行检测。
理想地，为了缩放和/或定位显示内容，可以通过可佩戴在头上的输出装置来显示另外的、即单独的用户界面。为此在缩放和定位时辅助于用户。为了实现这一点，可以通过手势识别和控制设备提供另一输出信号，该另一输出信号可以描述作为显示内容的另一图形用户界面，其中该另一图形用户界面可以是用于对描述由移动终端的显示设备生成的图形用户界面的显示内容进行缩放和/或定位的操作菜单。因此该另一图形用户界面可以可选地与移动终端显示的内容无关并且因此可以被称为附加的图形用户界面。
手势识别和控制设备可以优选地仅基于激活全自动驾驶模式和/或基于机动车的发动机启动来执行上述实施方案的一个或多个方法步骤。为此，手势识别和控制设备可以例如向驾驶员辅助系统询问当前的驾驶模式(或未来的驾驶模式)或从驾驶员辅助系统接收相应的信号；和/或手势识别和控制设备可以例如从机动车的点火系统接收和评估启动信号。移动终端的用户界面的镜像由此被输出装置可靠地且即时地显示。在全自动驾驶模式中额外的优点是，驾驶员也可以佩戴和使用可佩戴在头上的输出装置。
上面设定的目的是通过被设置用于执行根据上述实施方案之一的方法的手势识别和控制设备来实现的。手势识别和控制设备可以设计为例如控制器或控制芯片或用户程序(“App”)。手势识别和控制设备可以优选地具有处理器设备，即被设计和设置用于电子数据处理的构件或仪器组件，并且优选地可以具有至少一个微控制器和/或微处理器。可选地，手势识别和控制设备可以具有可以优选在其上存储程序代码的数据存储器，例如存储卡或存储芯片，或另一数据存储器，该程序代码在由处理器设备执行时可以促使手势识别和控制设备执行根据本发明的方法的实施方案。
手势识别和控制设备可以优选地是机动车的手势识别和控制设备。
可选地，手势识别和控制设备可以具有一个或多个传感器，例如一个或多个摄像机。在此相应得到已经描述的优点。
上述目的通过具有上述手势识别和控制设备的实施方案的机动车实现。在此得到了已经提到的优点。
上述目的通过一种可佩戴在头上的被设计用于输出增强现实和/或虚拟现实的输出装置、例如数据眼镜实现，该输出装置具有本发明的手势识别和控制设备的实施方案。此处也得到已经提到的优点。
本发明还包括根据本发明的手势识别和控制设备以及根据本发明的机动车的改进方案，这些改进方案具有已经结合根据本发明的方法的改进方案描述的特征。为此，这里不再描述根据本发明的手势识别和控制设备的以及根据本发明的机动车的相应改进方案。
根据本发明的机动车优选设计为汽车，特别是轿车或卡车，或者客车或摩托车。
本发明还包括所述实施方案的特征的组合。
附图说明
下面描述本发明的实施例。附图示出：
图1示出了根据本发明的方法和根据本发明的装置的第一实施例的示意图；
图2示出了根据本发明的方法和根据本发明的装置的另一实施例的示意图；
图3示出了根据本发明的方法和根据本发明的装置的另一实施例的示意图；
图4示出了图3中的另一实施例的另一示意图，以及
图5示出了根据本发明的方法和根据本发明的装置的另一实施例的示意图。
下面解释的实施例是本发明的优选实施方案。在该实施例中，实施方案的所描述的部件各自代表本发明的单独的、可视作彼此独立的特征，这些特征分别也彼此独立地进一步改进本发明。因此，本公开还应该包括除了所示出的那些实施方案的特征组合之外的特征组合。此外，所描述的实施方案还可以由已经描述的本发明的其他特征来补充。
在图中，相同的附图标记分别表示具有相同功能的元件。
具体实施方式
图1示出了根据第一实施例的根据本发明的方法和根据本发明的装置的原理。
如图1的例子中所示，手势识别和控制设备10可以是例如机动车12的控制芯片或控制器，该机动车例如可以设计为桥车，优选设计为可以在领航的或完全自动的驾驶模式中运行的轿车。手势识别和控制设备10可以优选地具有处理器设备14，该处理器设备具有例如多个微处理器和/或数据存储器16，例如存储卡或存储芯片。优选可以在该可选的数据存储器16上存储用于执行该方法的程序代码。在手势识别和控制设备10的数据存储器16中可以可选地存储用于移动终端22的操作系统的驱动程序。
与可佩戴在头上的输出装置18的通信优选地可以通过无线数据通信链路20进行，例如通过WLAN连接、蓝牙连接或移动无线连接。备选地，数据通信链路20可以是例如有线的数据通信链路20，例如电缆。
可佩戴在头上的输出装置18可以优选地是用于增强和/或虚拟现实的输出装置18。如果手势识别和控制设备10是机动车12的组件，则可以使用本领域技术人员已知的任何输出装置18，例如任何已知的数据眼镜。
备选地(图1至图5中未示出)，手势识别和控制设备10可以是输出装置18的组件。在该变型方案中，手势识别和控制设备10例如可以定位在侧支架/侧眼镜腿上。为了可选地检测操作手势，输出装置18可以例如在端面上具有摄像机。
与移动终端22，例如智能手机或平板电脑的通信，也可以优选地通过无线数据通信链路20，或通过有线数据通信链路20，例如机动车12的数据总线和/或电缆进行。
移动终端22具有显示设备24，其可以优选地包括触敏显示屏。根据当前的图形用户界面，移动终端22的各种操作功能可以通过该示例性触敏显示屏触发，例如打开程序、切换到具有打开程序的小视图的导航概览，或者例如接听电话或播放示例视频。对显示设备24的直接控制在此由控制设备26负责，例如由控制板和/或用户程序(“App”)或操作系统。移动终端22的控制设备26还可以具有处理器设备和/或数据存储器，其中为了清楚起见，这些组件没有在图1中(和随后的附图中)示出。
图1示出了输出装置18的显示面28，当用户戴上输出装置18时，该显示面可以理想地位于用户的眼前。
最后，图1还示出了可选的例如摄像机，尤其是飞行时间摄像机或红外传感器，其例如可以布置在机动车的顶篷或机动车的后视镜上。如果手势识别和控制设备10例如是输出装置18的组件，则其可以例如在输出装置18的端面上具有摄像机。
手势识别和控制设备10也可以优选地具有多个这种传感器30。
对移动终端的识别(方法步骤S1)例如可以在移动终端22接近机动车12时进行，为此目的，在机动车12的外侧可以例如设有低功耗蓝牙接收器。备选地，如果移动终端22例如被放置在机动车12中的充电座中，则可以识别移动终端22(S1)，其中移动终端22的识别(S1)能够由本领域技术人员使用由现有技术已知的识别技术来完成。
图1中示例的移动终端22例如可以刚开打开了用于输出关于机动车的信息(例如当前运行数据)的程序的用户界面。备选地，该示例性的程序可以是其他的用户程序，例如用于播放电影或游戏的用户程序，或者可以显示移动终端22的桌面。
通过例如显示设备24将相应的输出信号传输到手势识别和控制设备10；或例如通过手势识别和控制设备10向移动终端22问询当前正在显示什么，可以确定(S2)已知的移动终端22的显示设备24当前正在显示的图形用户界面。
为了提供用于将移动终端22的图形用户界面显示在可佩戴在头上的输出装置18的显示面28上的输出信号(S3)，例如可以由手势识别与控制设备10生成输出信号，或者可以将移动终端22的输出信号传输至输出装置18。在后一示例中，所述提供步骤S3还包括将提供的输出信号传输至示例性数据眼镜的传输步骤S4。
所述指定的输出区域32例如可以是预设的，并且在图1的示例中，例如是副驾驶座上方的区域。在图1的示例中，在输出区域32中显示移动终端22的图形用户界面的虚拟图像34。在显示面28上例如可以额外地显示动车内部空间的摄像机图像，其中可以插入显示移动终端22的用户界面的图像34。备选地，显示面28上没有被插入显示图像34的区域也可以切换为透明的，从而用户可以通过例如数据眼镜看到机动车12的真实内部空间。在另一变型方案中，输出装置18可以例如产生虚拟现实，该虚拟显示不显示机动车的内部空间，而是例如显示视频游戏的风景以及插入显示图形用户界面的图像34。
对于本领域技术人员来说，用于确定用户刚刚是否将他的头部转向了示例性指定的输出区域32的技术是从虚拟现实和数据眼镜领域的现有技术中已知的。
图1中的示例示出了用户的身体部分，优选手36，其当前正在执行用于控制移动终端22的非接触式操作手势。也可以称为空间手势的该非接触式操作手势可以例如是用户在空间中将手指向所述指定的输出区域32并因此将手指向用户界面的图像34且将手移动到例如在图像34所示的用户界面上可以由图标表示的待激活的功能处的指向手势。优选地，例如可以指定一个操作区域，即，一个使用户必须在其中执行空间手势才能够被检测和/或被识别的区域。传感器30然后可以例如对准该示例性的指定的操作区域，或者备选地，一个传感器30或多个传感器30可以覆盖机动车12的大部分或全部内部空间。
可以向用户显示例如如下用户界面，在该用户界面上示出了各种菜单项和/或例如各种车辆功能的值。如果用户现在想要激活所显示的、可能的操作功能之一，或者例如获得关于车辆功能之一的更详细信息，则该空间手势例如可以是，他用手指向相应的图标或显示元素。在由传感器30选择性地检测到该非接触式操作手势之后(S5)，手势识别和控制设备10可以接收到相应的传感器信号(S6)，并且可以识别该非接触式操作手势来例如触发视频播放功能(S7)。
借助例如红外传感器来识别或追踪肢体的技术已经例如作为所谓的“体感控制(Leap Motion)”技术为本领域技术人员已知。无论手势识别和控制设备10是否是机动车12的组件，都可以实施该技术。
为实现图形用户界面或其局部的镜像，可以借助于“抓取器”，即所谓的“内容抓取器”或“帧抓取器”实现图形用户界面的镜像，并插入显示到虚拟现实中。可选地，除了插入显示用户界面之外，可以插入显示手36的图像，为此例如可以根据与上述手势识别类似的原理拍摄或跟踪用户的手36，并且可以通过手势识别和控制设备10显示在显示面28上。
在图1的示例的输出装置18的显示面28上还示例性地示出了另一显示元件38，在该另一显示元件上可以显示例如另一操作功能，例如用于关闭手势识别的功能和/或用于关闭图形用户界面镜像的功能和/或用于菜单导航的功能。这种示例性的“返回按钮”可以优选地显示在预定位置上，特别是在显眼的位置上。
图1中的示例还示出了可选的改进方案，根据该改进方案，手势识别和控制设备10可以提供另一输出信号(S8)，该另一输出信号可以描述另一图形用户界面的以图像40形式的另一显示内容的输出。在此，这优选涉及用于缩放和/或定位第一图像34、即由移动终端22镜像的第一虚拟图形用户界面的操作菜单。例如，如果用户不希望图像34出现在右侧的副驾驶座椅上方，而是例如出现在方向盘前方，则他例如可以用另一非接触式操作手势虚拟地移动图像34。在识别出该另一空间手势之后(S7)，手势识别和控制设备10可以根据该另一空间手势来将输出区域32指定至内部空间中的另一位置处，即在这种情况下指定至方向盘前方(S8)。
与此类似地，另一空间手势可以缩放图像34(S9)，也就是说，可以例如在边角处“拉开”图像34，即例如可以放大图像34。
为了控制移动终端22，手势识别和控制设备可以产生遥控信号(S10)，其可以激活例如用于显示关于运行参数的详细信息或播放视频的操作功能。所产生的遥控信号经由数据通信链路20被传送到所识别的移动终端22的控制设备26(S11)。随后，移动终端22，特别是控制设备26触发操作功能(S12)。
可选地，手势识别和控制设备10可以与机动车系统(图1中未示出)，例如点火系统或驾驶员辅助系统通信，并且基于例如描述机动车当前正在领航驾驶模式中运行的信号可以激活该方法。
图1至图5示出了该方法和装置的另外的实施例，下面仅讨论与图1中的示例的不同之处。
在图2的示例中，移动终端22的图形用户界面的图像34可以例如显示作为扇环的操作菜单。可以根据示例性的手36是否指向该扇环的一个区域中来选择一种或多种操作功能以便例如产生显示；或者根据是否指向扇环的另一区域中来进行选择以便例如提供新的显示。该相应的操作功能可以优选为了更好地被找到而被显示在被镜像到输出装置18的显示面28上的图形用户界面上。图2还示出了示例性空间手势，其中手36可以是所有手指都伸出并且手掌例如向上指向的空间手势。该示例性的空间手势例如可以是用于导航返回到主目录的空间手势。备选地，在图2所示的空间手势例如可以是伸出的手向右或向左、或向上或向下摆动，以便选择相应的操作功能。如上面关于图1所述地，可以或者在增强现实中看到用户的真实的手36，或者显示以与用户的手36相同地移动的虚拟的手的图像。
例如，被镜像的图形用户界面可以显示电视菜单，或者可以是移动终端22的桌面，或者图形用户界面可以显示所谓的“内容流媒体”。
在图3的例子中示出了镜像用户界面，其例如可以是媒体程序的能够用以选择和收听例如音乐专辑或切换到例如视频和照片功能的操作菜单。
图4示出了图3的实施例的扩展方案，其中可以通过图像40额外地示出另一图形用户界面，该另一图形用户界面要么是另一移动终端22的图形用户界面，要么是由手势识别和控制设备10自身生成的图形用户界面。借助该另外的示例性操作菜单可以例如删除存储在移动终端22中的音乐专辑，可以例如选择各种足迹/记录(Track)或功能，或者可以使用该附加的菜单来缩放和/或定位图像34(S8、S9)。
图5示出一实施例，其中，用户、例如完全自动行驶模式(级别5)中的驾驶员或前排乘客或后排乘客可以生成任何显示、对其进行缩放(S9)和/或将其在内部空间中定位(即指定输出区域32，S8)，以便例如观看足球比赛直播。在另一图像40上，即在他所能够产生、缩放(S9)和/或根据需要定位的另一显示上，他例如可以展示他的MMI的操作配置以及可以操作他的移动终端22和/或机动车10，或者他可以例如显示仪表内容，如速度、导航信息(例如剩余距离和/或到达时间)。他还能够视情况使用另一图像40或显示元素，即使用另一显示，来例如处理他的电子邮件。换句话说，用户可以在他的虚拟环境中自己设计他的显示面和操作面。
该系统可以轻松连接到提供虚拟现实的娱乐系统。在例如游戏期间，用户不必从虚拟现实中退出来查看其他活动(例如收取电子邮件)或操作机动车12。
总的来说，这些示例展示了本发明如何实现基于VR和/或AR的遥控控制。
根据另一实施例，用户可以例如在虚拟现实中从无论任何场景(例如游戏和/或会议)中激活“飞行MMI(飞行人机界面)”或“VR-MMI(虚拟现实人机界面)”，即镜像的虚拟用户界面。这可以提供与系列化MMI/串行MMI(Serien-MMI)相同的功能。系列化MMI和VR-MMI可以始终同步，且显示相同的显示内容。优选地，VR-MMI也可以像往常一样使用类似于系列化操作(例如触摸、滑动、捏合)的类似手势进行操作。此外，用户可以优选地将VR-MMI，即镜像图形用户界面，放置在对他合适的位置，即指定输出区域32。该系统很容易在VR和AR(增强现实)中来实施。
根据另一实施例，技术实现方案可以是，例如通过借助于一个或多个传感器30，例如红外传感器，优选在使用体感控制传感器的情况下，追踪例如用户的一只手36或两只手36，并且通过相对于输出装置18、即HMD的坐标来确定手坐标，完全能够三维地检测用户的动作空间。系列化MMI中显示的图像，即通过移动终端22的显示设备24显示的图像，可以优选借助于抓取器在虚拟现实中串流(gestreamt)到“感兴趣区域”中，即输出区域32中，以及其他由用户自由定义的区域中。因此第三人在系列化MMI上、例如在移动终端22的屏幕上的操作可以实时地显示在VR-MMI中，即在镜像用户界面的图像34中。当在VR-MMI中操作相应的操作功能时，例如可以将相应的消息传输到执行动作的主单元。

Claims (8)

1.一种用于运行移动终端(22)的方法，其中，所述方法具有通过手势识别和控制设备(10)执行的如下步骤：
-识别移动终端(22)(S1)；
-确定由识别出的移动终端(22)的显示设备(24)生成的、提供了能够用于触发移动终端(22)的操作功能的操作选项的当前图形用户界面(S2)；
-提供输出信号，该输出信号描述作为显示内容的、由识别出的移动终端(22)的显示设备(24)生成的图形用户界面(S3)；
-将提供的输出信号传输至可佩戴在头上的输出装置(18)，以用于在机动车(12)的内部空间中在预定的输出区域(32)中将该显示内容作为由输出装置(18)输出的增强现实或虚拟现实的一部分来输出(S4)；
-在输出显示内容时：基于提供的操作选项识别用户的非接触式操作手势(S7)；
-基于识别出的非接触式操作手势生成遥控信号(S10)，该遥控信号描述对与该识别出的非接触式操作手势相对应的移动终端(22)的操作功能的触发；以及
-将生成的遥控信号传输至识别出的移动终端(22)的控制设备(26)(S11)，以用于触发操作功能(S12)。
2.根据权利要求1所述的方法，其中，所述方法具有通过手势识别和控制设备(10)执行的如下步骤：
-识别另一非接触式操作手势，该另一非接触式操作手势规定显示内容在内部空间中的定位(S7)；以及
-根据识别出的该另一非接触式操作手势规定输出区域(32)(S8)。
3.根据前述权利要求中任一项所述的方法，其中，所述方法具有通过手势识别和控制设备(10)执行的如下步骤：
-识别另一非接触式操作手势，该另一非接触式操作手势描述对显示内容的缩放(S7)；以及
-根据识别出的该另一非接触式操作手势缩放示出显示内容的图像(34)(S9)。
4.根据权利要求2或3中任一项所述的方法，其中，所述方法具有通过机动车(12)的手势识别和控制设备(10)执行的如下步骤：
-提供另一输出信号(S8)，该另一输出信号描述作为显示内容的另一图形用户界面，该另一图形用户界面提供了用于对描述由移动终端(22)的显示设备(24)生成的图形用户界面的显示内容进行缩放和/或定位的操作菜单。
5.根据前述权利要求中任一项所述的方法，其中，手势识别和控制设备(10)仅基于激活全自动驾驶模式和/或基于机动车(12)的发动机启动来执行一个或多个方法步骤。
6.一种手势识别和控制设备(10)，该手势识别和控制设备被设置用于，执行根据前述权利要求中任一项所述的方法。
7.一种具有根据权利要求6所述的手势识别和控制设备(10)的机动车(12)。
8.一种可佩戴在头上的输出装置(18)，用于输出增强现实和/或虚拟现实，该输出装置具有根据权利要求6所述的手势识别和控制设备(10)。
CN202080044013.2A 2019-07-15 2020-07-01 通过手势识别和控制设备运行移动终端的方法、手势识别和控制设备、机动车及可佩戴在头上的输出装置 Pending CN113994312A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019210383.9 2019-07-15
DE102019210383.9A DE102019210383A1 (de) 2019-07-15 2019-07-15 Verfahren zum Betreiben eines mobilen Endgeräts mittels einer Gestenerkennungs- und Steuereinrichtung, Gestenerkennungs- und Steuereinrichtung, Kraftfahrzeug, und am Kopf tragbare Ausgabevorrichtung
PCT/EP2020/068456 WO2021008871A1 (de) 2019-07-15 2020-07-01 Verfahren zum betreiben eines mobilen endgeräts mittels einer gestenerkennungs- und steuereinrichtung, gestenerkennungs- und steuereinrichtung, kraftfahrzeug, und am kopf tragbare ausgabevorrichtung

Publications (1)

Publication Number Publication Date
CN113994312A true CN113994312A (zh) 2022-01-28

Family

ID=71409426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080044013.2A Pending CN113994312A (zh) 2019-07-15 2020-07-01 通过手势识别和控制设备运行移动终端的方法、手势识别和控制设备、机动车及可佩戴在头上的输出装置

Country Status (5)

Country Link
US (1) US12008168B2 (zh)
EP (1) EP3999939A1 (zh)
CN (1) CN113994312A (zh)
DE (1) DE102019210383A1 (zh)
WO (1) WO2021008871A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114839782A (zh) * 2022-06-07 2022-08-02 上汽大众汽车有限公司 一种用于车辆控制与信息显示的车载增强显示系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019210383A1 (de) 2019-07-15 2021-01-21 Audi Ag Verfahren zum Betreiben eines mobilen Endgeräts mittels einer Gestenerkennungs- und Steuereinrichtung, Gestenerkennungs- und Steuereinrichtung, Kraftfahrzeug, und am Kopf tragbare Ausgabevorrichtung
US20220342415A1 (en) * 2019-09-09 2022-10-27 Nissan Motor Co., Ltd. Vehicle Remote Control Method and Vehicle Remote Control Device
DE102021119970A1 (de) 2021-08-02 2023-02-02 Bayerische Motoren Werke Aktiengesellschaft Bedienverfahren für Fahrzeuge mit Datenbrille
US11813528B2 (en) 2021-11-01 2023-11-14 Snap Inc. AR enhanced gameplay with a personal mobility system
DE102022113343A1 (de) 2022-05-25 2023-11-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems in einer mobilen Einrichtung mit einer Datenbrille
DE102022129409A1 (de) 2022-11-08 2024-05-08 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Steuern eines Smartgerätes in einem Fahrzeug
FR3144322A1 (fr) * 2022-12-23 2024-06-28 Valeo Comfort And Driving Assistance Système de réalité immersive embarqué sur un véhicule

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140225918A1 (en) * 2013-02-14 2014-08-14 Qualcomm Incorporated Human-body-gesture-based region and volume selection for hmd
US20150187357A1 (en) * 2013-12-30 2015-07-02 Samsung Electronics Co., Ltd. Natural input based virtual ui system for mobile devices
CN109781136A (zh) * 2019-02-01 2019-05-21 谷东科技有限公司 一种基于ar眼镜的智能导航方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013083B2 (en) * 2014-04-28 2018-07-03 Qualcomm Incorporated Utilizing real world objects for user input
US10353532B1 (en) * 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
EP3079041B1 (de) 2015-04-10 2018-06-27 Airbus Defence and Space GmbH Verfahren und system zur bereitstellung einer virtual-reality-umgebung für passagiere von land- und luftfahrzeugen
DE102016207530A1 (de) 2016-05-02 2017-11-02 Volkswagen Aktiengesellschaft System und Verfahren zum Darstellen eines virtuellen Fahrzeuginnenraums
DE102016225268A1 (de) 2016-12-16 2018-06-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102017211521A1 (de) 2017-07-06 2019-01-10 Bayerische Motoren Werke Aktiengesellschaft Steuerung von Fahrzeugfunktionen aus einer virtuellen Realität
ES2704373B2 (es) 2017-09-15 2020-05-29 Seat Sa Método y sistema para mostrar información de realidad virtual en un vehículo
DE102019210383A1 (de) 2019-07-15 2021-01-21 Audi Ag Verfahren zum Betreiben eines mobilen Endgeräts mittels einer Gestenerkennungs- und Steuereinrichtung, Gestenerkennungs- und Steuereinrichtung, Kraftfahrzeug, und am Kopf tragbare Ausgabevorrichtung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140225918A1 (en) * 2013-02-14 2014-08-14 Qualcomm Incorporated Human-body-gesture-based region and volume selection for hmd
US20150187357A1 (en) * 2013-12-30 2015-07-02 Samsung Electronics Co., Ltd. Natural input based virtual ui system for mobile devices
CN109781136A (zh) * 2019-02-01 2019-05-21 谷东科技有限公司 一种基于ar眼镜的智能导航方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114839782A (zh) * 2022-06-07 2022-08-02 上汽大众汽车有限公司 一种用于车辆控制与信息显示的车载增强显示系统
CN114839782B (zh) * 2022-06-07 2023-08-18 上汽大众汽车有限公司 一种用于车辆控制与信息显示的车载增强显示系统

Also Published As

Publication number Publication date
WO2021008871A1 (de) 2021-01-21
EP3999939A1 (de) 2022-05-25
DE102019210383A1 (de) 2021-01-21
US12008168B2 (en) 2024-06-11
US20220244789A1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
CN113994312A (zh) 通过手势识别和控制设备运行移动终端的方法、手势识别和控制设备、机动车及可佩戴在头上的输出装置
US11124118B2 (en) Vehicular display system with user input display
US10932124B2 (en) Mobile terminal
KR102029842B1 (ko) 차량 제스처 인식 시스템 및 그 제어 방법
US9235269B2 (en) System and method for manipulating user interface in vehicle using finger valleys
EP2826689B1 (en) Mobile terminal
US10489100B2 (en) Electronic device and method for sharing images
US9965169B2 (en) Systems, methods, and apparatus for controlling gesture initiation and termination
EP2914475B1 (en) System and method for using gestures in autonomous parking
EP3260331A1 (en) Information processing device
JP6039074B2 (ja) 撮像システム
JP2016503741A (ja) 自動車用の入力装置
US10209832B2 (en) Detecting user interactions with a computing system of a vehicle
CN108399044B (zh) 用户界面、运输工具和用于区分用户的方法
CN111231860B (zh) 用于车辆的操作模块、操作方法、操作系统及存储介质
KR20140079160A (ko) 2차원 카메라를 이용한 사용자 인터페이스 조작 시스템 및 방법
US9283893B2 (en) Vision-controlled interaction for data spectacles
CN110850975B (zh) 具有手掌辨识的电子系统、车辆及其操作方法
GB2526515A (en) Image capture system
US20230249552A1 (en) Control apparatus
KR20170133755A (ko) 전자 디바이스 및 전자 디바이스를 위한 방법
CN117465371A (zh) 车辆内交互的方法、装置、车辆、车载设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination