CN113811851A - 用户界面耦合 - Google Patents

用户界面耦合 Download PDF

Info

Publication number
CN113811851A
CN113811851A CN202080034220.XA CN202080034220A CN113811851A CN 113811851 A CN113811851 A CN 113811851A CN 202080034220 A CN202080034220 A CN 202080034220A CN 113811851 A CN113811851 A CN 113811851A
Authority
CN
China
Prior art keywords
user interface
elements
vehicle
heuristic
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080034220.XA
Other languages
English (en)
Inventor
M·施特拉斯贝格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN113811851A publication Critical patent/CN113811851A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/164—Infotainment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/55—Remote control arrangements
    • B60K2360/56—Remote control arrangements using mobile devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/586—Wired data transfers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及用于将第一用户界面与第二用户界面耦合的方法。第一用户界面通过移动终端设备或者通过一个或多个后端部件来实现。第二用户界面通过车辆控制器来实现。所述方法包括：检测第一用户界面的一个或多个元素；基于第一启发法和所述一个或多个元素确定一个或多个再现元素，所述一个或多个再现元素被配置为映射所述一个或多个元素的至少一部分；以及在第二用户界面上再现所述一个或多个再现元素。本公开还涉及用于将第一用户界面与第二用户界面耦合的系统。该系统包括控制器和/或一个或多个后端部件，所述控制器和/或所述一个或多个后端部件被配置为实施根据本发明的方法。本公开还涉及包括该控制器的车辆。

Description

用户界面耦合
技术领域
本公开涉及一种用于将用户界面与车辆中的用户界面耦合的系统和方法。本公开尤其是涉及一种用于将例如移动终端或基于云的系统的用户界面与车辆中的用户界面自动且智能地耦合的系统和方法。
背景技术
在现有技术中已知不同的系统，它们能够实现移动终端设备与车辆信息娱乐系统的耦合。由苹果公司提供的“CarPlay”例如提供了如下可能性，即，通过车辆的娱乐系统有限地操作苹果智能手机，并且因此例如能够实现导航、消息发送和接收以及音乐播放。在此，同样如在由Google为基于Android操作系统的智能电话提供的在其功能上类似的“Android Auto”中那样，在车辆信息娱乐系统上示出专门为每个要使用的应用(App)所开发的并且在操作和显示功能方面匹配或限制的用户界面。另一个在其功能上类似的产品是“Mirr Link”。
没有规定自动支持非专门为借助CarPlay或Android Auto或Mirr Link的操作而开发的应用。外部供应商允许开发用于自身应用的相应的操作方案。然而，将由第三方供应商生产的应用集成到上述系统之一中的可能性需要由各个制造商开放，典型地以便最小化驾驶员分心并且以便决定究竟是否允许在行驶运行中激活应用。
为了集成到相应的信息娱乐系统中而进行的个体化匹配以及每个单独的应用的相应检查或开放是非常耗费的并且是成本高或耗时的。此外，个体化匹配典型地必须在所使用的集成系统(例如CarPlay)和相应的娱乐系统方面进行，其中后者可以根据车辆制造商而非常不同地实现。
文献US 2013/0106750 A1描述了一种系统和方法，借助所述系统和方法，用户设备能够与车辆侧的计算机系统耦合。在此，用户设备的屏幕内容被镜像到计算机系统的触摸屏上，并且驾驶员利用触摸屏进行的输入被传输给用户设备。通过触摸屏实现用户设备的远程操作。该系统和方法要求所使用的应用被开放使用。不考虑由于使用所述系统而可能出现的驾驶员分心。该操作方案不与车辆中的应用相匹配，而是“一对一”地传递。
文献US 10,251,034 B2同样描述了一种系统和方法，借助所述系统和方法，用户设备能够与车辆侧的计算机系统耦合，其中明确地规定隐藏或不显示特定的显示元素，以便不使显示过载并且可能过于分散用户的注意力。在此，以在用户设备侧的特定事件(例如基于用户设备的传感器数据或运行条件)为前提条件显示若干个元素。因此，例如规定，仅当电量达到预先确定的最小值时才在车辆信息系统上显示用户设备的电量显示。不进一步考虑驾驶员的潜在分心。尤其是不规定考虑车辆侧的事件。
文献US 2015/0019967 A1同样描述了一种系统和方法，借助于所述系统和方法，用户设备能够与车辆侧的计算机系统以实时连接(“Live Link”)的形式耦合。所描述的系统和方法在需要时可以完全隐藏用户设备显示的再现，如果情况要求的话，例如在驾驶员紧急制动车辆的情况下。还规定例如由副驾驶员手动隐藏所述再现。
迄今为止还未已知如下系统或方法，其检测和处理在用户移动终端设备上执行的或基于云执行的任意应用的用户界面，使得即使在行驶期间也可以由驾驶员在没有显著分心的情况下使用。
关于基于云的系统，同样还未已知如下系统或方法，其检测和处理相应的用户界面、例如类似于网页或已知的用于桌面系统的软件的界面，使得即使在驾驶期间也可以由驾驶员在没有显著分心的情况下使用。在用于移动终端设备的用户界面的情况下还存在相对多的、也跨制造商的限制(例如屏幕尺寸、操作元件、交互可能性)，而对于基于云的系统要考虑另外的或其他的限制。
此外，迄今为止还未知如下系统或方法，其检测和处理基于云的系统的用户界面，使得车辆驾驶员能够借助在车辆中存在的显示或操作系统(例如信息娱乐系统、iDrive、手势控制、语音输入、触摸屏)尤其是也在驾驶期间且在基本不分散驾驶员注意力的情况下实现使用。
因此，需要如下系统和方法，其优选基本上实时地检测在用户移动终端上执行的任意应用的用户界面或者基于云的系统的用户界面、处理所检测到的内容并且提供所述内容的匹配再现，其中，经匹配的再现防止或最小化驾驶员的潜在分心。
因此，尤其是需要如下系统和方法，其针对驾驶员的潜在分心检查在用户移动终端设备上执行的应用的相应用户界面或者基于云的系统的相应用户界面上提供的可能的操作元素，并且必要时根据需要并且在最小化驾驶员分心的情况下以合适的方式提供用于输入的可能的操作元素。这尤其是可以包含隐藏一个或多个输入元素和/或修改一个或多个输入元素并且根据需要插入一个或多个输入元素(例如以放大的形式和/或在再现的用户界面的预定位置上)。
尤其是需要如下系统和方法，其检测由用户进行的输入并且将其传输给在用户移动终端设备上执行的相应应用或者传输给基于云的系统，从而分别能够实现应用或者基于云的系统的对于用户来说一目了然的使用。
尤其是需要如下系统和方法，其将可能的动态元素在其动态方面降低或者转换为基本上静态的元素，和/或将所检测到的动态基于车辆的当前行驶状况必要时静态地或者以降低的或最小化的动态输出给用户，所述可能的动态元素存在于在用户移动终端设备上执行的应用的用户界面或者基于云的系统的用户界面上。这也可以包含时间上错开地再现用户界面的元素。
发明内容
本公开的任务是，提供一种方法和系统，其避免一个或多个所描述的缺点和/或能够实现一个或多个所描述的优点。
该任务通过独立权利要求的主题来解决。有利的设计方案在从属权利要求中给出。
在根据本公开的实施方式的第一方面中，给出了一种用于将第一用户界面与第二用户界面耦合的方法。第一用户界面通过移动终端设备或通过一个或多个后端部件实现，并且第二用户界面通过车辆的控制器实现。该方法包括：检测第一用户界面的一个或多个元素；基于第一启发法和所述一个或多个元素确定一个或多个再现元素，所述一个或多个再现元素被配置为映射所述一个或多个元素的至少一部分；以及在第二用户界面上再现所述一个或多个再现元素。
在根据第一方面的第二方面中，所述第一启发法进一步包括基于相关性的启发法，用于将所述一个或多个元素转换为所述一个或多个再现元素，其中，所述基于相关性的启发法将所述一个或多个元素中的至少一个元素的相关性与所述映射的一个或多个再现参数建立关联；优选地，所述基于相关性的启发法考虑所述一个或多个元素对于车辆用户的当前相关性。
在根据第一方面或第二方面的第三方面中，所述第一启发法进一步包括基于动态的启发法，用于将所述一个或多个元素转换为一个或多个再现元素，其中，所述基于动态的启发法将所述一个或多个元素中的至少一个元素的显示动态与所述映射的一个或多个再现参数建立关联；优选地，所述基于动态的启发法考虑车辆的当前行驶状态。
在根据第一方面至第三方面中任一方面的第四方面中，所述第一启发法进一步包括基于参数的启发法，用于将第一用户界面的一个或多个参数转换为第二用户界面的一个或多个参数。优选地，所述基于参数的启发法考虑在第二用户界面上再现所述一个或多个元素的通用映射规则。
在根据第一方面至第四方面中任一方面的第五方面中，所述方法进一步包括：检测车辆用户的一个或多个输入；基于第二启发法确定所述一个或多个输入的输入映射；以及将输入映射传输到第一用户界面上。
在根据第五方面的第六方面中，所述第二启发法进一步包括输入模式的启发法，用于将所述用户的一个或多个输入映射到第一用户界面的输入模式上。
在根据第五方面或第六方面的第七方面中，检测一个或多个输入、确定输入映射以及将输入映射传输到第一用户界面上的步骤基本上实时地进行。
在根据第一方面至第七方面中任一方面的第八方面中，检测一个或多个元素、确定一个或多个再现元素以及在第二用户界面上再现一个或多个再现元素的步骤基本上实时地进行。
在根据第一方面至第八方面中任一方面的第九方面中，所述方法进一步包括：优选以规律的间隔重复地、基本上连续地或根据需要地：检测表征车辆的一个或多个用户的行为的一个或多个行为参数；基于行为参数确定一个或多个注意力参数，所述一个或多个注意力参数表征所述一个或多个用户的涉及车辆运行的注意力。
在根据前述第九方面的第十方面中，所述方法进一步包括：基于所确定的一个或多个注意力参数来匹配第一启发法和/或第二启发法。
在第十一方面中，给出了一种用于将第一用户界面与第二用户界面耦合的系统。该系统包括控制器和/或一个或多个后端部件。所述控制器和/或所述一个或多个后端部件被配置为实施当前公开的尤其是根据第一方面至第十方面中任一方面的方法。
在第十二方面中，给出了一种包括控制器的车辆。所述控制器被配置为实施当前公开的尤其是根据第一方面至第十方面中任一方面的方法的一个或多个步骤、优选所有步骤。
根据另一方面描述了一种软件程序。所述软件程序可以被配置为在处理器上执行并且由此执行当前公开的方法。
根据另一方面描述了一种存储介质。该存储介质可以包括软件程序，该软件程序被配置为在处理器上执行并且由此执行当前公开的方法。
在此公开的系统和方法提供了一个或多个以下提及的优点。
根据本公开的系统和方法能够实现基本上实时地检测在用户移动终端上执行的任意应用的用户界面或基于云的系统的用户界面，其中，处理所检测到的内容并提供对内容的经匹配的再现。经匹配的再现能够防止或最小化驾驶员的潜在分心。借此能够实现对通用应用或基于云的系统的操作，同时防止或最小化用户分心。这不仅能够提高在车辆中使用移动终端设备的应用或使用基于云的系统的质量，而且能够提高交通安全性。
根据本公开的系统和方法还能够实现针对驾驶员的潜在分心检查在用户移动终端设备上执行的应用的相应用户界面或者基于云的系统的相应用户界面上提供的可能的操作元素，并且必要时根据需要并且在最小化驾驶员分心的情况下以合适的方式提供用于输入的可能的操作元素。例如，通过隐藏一个或多个输入元素和/或通过修改一个或多个输入元素和根据需要插入一个或多个输入元素(例如以放大的形式和/或在再现的用户界面的预定位置上)，能够降低输入过程的复杂性和/或根据需要控制输入过程。这不仅能够提高在车辆中使用移动终端设备的应用或使用基于云的系统的质量，而且能够提高交通安全性。
根据本公开的系统和方法还能够实现检测由用户进行的输入并且将其传输给在用户移动终端设备上执行的相应应用或者传输给基于云的系统，从而能够实现应用或者基于云的系统的对于用户来说一目了然的使用。这能够提高在车辆中使用移动终端设备的应用或使用基于云的系统的质量，并且有助于增加能够通过在车辆中存在的信息娱乐系统来操作的应用或基于云的系统的数量。
根据本公开的系统和方法还能实现将可能的动态元素在其动态方面降低或者转换为基本上静态的元素和/或将所检测到的动态基于车辆的当前行驶状况必要时静态地或者以降低的或最小化的动态输出给用户，所述可能的动态元素存在于在用户移动终端设备上执行的应用的用户界面或者基于云的系统的用户界面上。尤其是也能够实现时间上错开地再现用户界面的元素。这能够显著改善交通安全性，尤其是通过将显示过程或输入过程转移到如下情形下，在该情形下驾驶员的仅非常小的注意力对于驾驶车辆是必需的。
附图说明
本公开的实施例在附图中示出并且在下面进一步描述。在此，在下面只要没有另外说明，对于相同的和起相同作用的元件使用相同的附图标记。
图1示意性地示出了根据本公开实施方式的用于将第一用户界面与第二用户界面耦合的系统的各个部件的配合作用；
图2示意性地示出了根据本公开实施方式的用于将第一用户界面与第二用户界面耦合的系统的功能；
图3示例性地示出了根据本公开实施方式的在第二用户界面上再现第一用户界面的元素；和
图4示出了根据本公开实施方式的用于将第一用户界面与第二用户界面耦合的方法的流程图。
具体实施方式
在下面只要没有另外说明，对于相同的和起相同作用的元件使用相同的附图标记。
图1示意性地示出了根据本公开实施方式的用于将用户界面210、310与在车辆80中的用户界面110耦合的系统100的各个部件的配合作用。当在本公开中提及用户60时，原则上包括以下所有用户60，包括可充当驾驶员的用户、可充当副驾驶员的用户(例如在驾驶员旁边)或可充当乘客的用户(例如在车辆80的座位上)在内。只要在下文中没有明确地探讨对各个用户类型的不同处理，那么术语“用户”应理解为任意用户60。
用户界面的“耦合”术语在本公开的意义中包括第一用户界面210、310与第二用户界面的连接，从而通过第一用户界面传输的信息(例如图形显示、图像、照片、音频、视频)为了通过第二用户界面110进行再现而被传输给该第二用户界面，和/或从而借助第二用户界面110将由车辆80的用户60进行的输入(例如经由触摸屏、手势、语音输入、通过不同的操作元件)为了通过第一用户界面210、310进行处理而被传输给该第一用户界面。根据本发明，这种耦合允许通过第二用户界面110(该第二用户界面例如通过车辆80中的控制器120实现)对不同应用进行操作，其中，这些应用最初被设置用于通过第一界面(该第一界面例如通过移动终端设备200或一个或多个后端部件300实现)进行操作。在此，第二界面110根本不通过移动终端设备200或者所述一个或多个后端部件300(例如在基于云的应用的情况下)实现，也就是说，相应的应用并非设置用于借助第二界面进行操作。根据本发明进一步规定，如此进行再现和/或输入的匹配，使得车辆80的用户60的注意力(例如对道路交通、车辆驾驶和/或车辆操作的注意力)不受影响或仅受最小程度的影响，和/或使得车辆80中的输入的不同模式在语义上正确地或有意义地传输给第一用户界面。
术语“车辆”包括轿车、货车、公共汽车、房车、摩托车等，其用于运送人、货物等。该术语尤其包括用于运送人员的“机动车”。具有电驱动装置的车辆80(尤其是混合动力车辆或电动车辆)由电动机驱动并且包括一个或多个电蓄能器(例如电池、高压蓄电池)，所述电蓄能器可以通过车辆的充电设备连接到充电站上并且充电。可以使用各种充电技术对这种混合动力车辆或电动车辆的电蓄能器进行充电。
优选地，车辆包括环境传感装置(未在图1中示出)，其配置成用于检测环境数据，所述环境数据表征车辆周围环境和/或在车辆80的周围环境中的物体。环境传感装置优选包括至少一个激光雷达系统和/或至少一个雷达系统和/或至少一个摄像机和/或至少一个超声波系统。环境传感装置可以提供基于环境数据的环境参数，所述环境参数表征车辆的周围环境区域。
在本公开的范围内，术语“自动化行驶”可以理解为具有自动化的纵向或横向引导的行驶或者具有自动化的纵向和横向引导的自主行驶。自动化行驶例如可以是在高速公路上较长时间的行驶或者是在泊车或调度的范围内时间有限的行驶。术语“自动化行驶”包括具有任意自动化程度的自动化行驶。示例性的自动化程度是辅助行驶、部分自动化行驶、高度自动化行驶或全自动化行驶。这些自动化程度由德国联邦公路研究院(BASt)定义(参见BASt出版物“Forschung kompakt”2012年11月版)。在辅助行驶时，驾驶员持续地实施纵向或横向引导，而系统在一定的范围内承担相应其他的功能。在部分自动化行驶(TAF)中，系统在一定时间段内和/或在特定情况下承担纵向和横向引导，其中，驾驶员必须如在辅助行驶中那样持续地监控系统。在高度自动化行驶(HAF)中，系统在一定时间段内承担纵向和横向引导，而驾驶员不必持续地监控系统；然而，驾驶员必须在一定时间内能够承担车辆驾驶。在全自动化行驶(VAF)期间，对于特定的使用情况，系统可以在所有情形下自动地应对行驶；对于这种应用情况不再需要驾驶员。上述四种自动化程度对应于SAE J3016标准(SAE-汽车工程学会)的SAE级别1至4。例如，高度自动化行驶(HAF)对应于SAE J3016标准的级别3。此外，在SAE J3016中还规定SAE级别5作为最高自动化程度，其不包含在BASt的定义中。SAE级别5对应于无人驾驶，在该无人驾驶中系统可在整个行驶期间如同人类驾驶员那样自动地应对所有情形，通常不再需要驾驶员。
系统100可以基本上在车辆80的控制器120上和/或在一个或多个后端部件300(例如，服务器、服务)上实现。
除了控制器120之外，车辆80进一步包括通信单元130和用户接口110，所述通信单元被配置用于与相对于车辆80在外部的部件(例如后端300)进行数据通信140，所述用户接口例如可以实现为车辆80中的触摸屏(例如在车辆80的仪表板区域上或中或者作为车辆80后座中的后座娱乐系统的一部分；未示出)。通信单元130还可以配置为提供与移动终端设备200的数据连接、尤其是与位于车辆80中的和/或位于车辆80的周围环境中的和/或由用户60使用的那些移动终端设备的数据连接。数据连接140通常可以涉及移动终端设备200，和/或可以涉及与在移动终端设备上执行的一个(或多个)应用212的数据连接和/或与在移动终端设备200上实现的用户界面210的数据连接。通信单元130还可以被配置为提供与一个或多个基于云的服务的数据连接140、尤其是与位于车辆80中的和/或位于车辆80的周围环境中的和/或由用户60使用的那些服务的数据连接。数据连接140通常可以涉及一个或多个基于云的服务312，和/或可以涉及与由一个或多个基于云的服务312实现的用户界面310的数据连接。系统100的各个部件(例如控制器120、通信单元130、用户接口110)仅示意性地示出，从而该图示并不允许绝对地或强制地推断出相应部件的定位、车辆80的特定子区域中的布置或相应部件的其他特性。同样地，系统100并不强制必须总是包括在图1中示出的所有部件。图1中的图示因此示出了一个示例性的实施方式。
系统100可以部分地或完全地通过车辆80中的用户接口110来操作。用户接口110可以包括一个或多个多模式(multimodale)的用户接口、尤其是配置用于操作车辆80的用户接口(例如通信、信息娱乐系统、空调、座椅调节、车辆设定)。用户接口110能够实现例如经由图形用户界面(例如触摸屏)、经由车辆80的典型操作元件(例如按钮、开关、iDrive控制器)、经由语音控制(例如借助传感器168)、经由扫描仪(例如用于指纹、视网膜)等对用户60的输入进行多模式检测。用户接口110还能够实现例如经由图形显示元件(例如触摸屏、平视显示器171、仪表板组合件、中央信息显示器或者说CID)、经由触觉元件(例如方向盘或座椅部件的振动)、通过经由在车辆中存在的扬声器设备(例如信息娱乐系统)或声音信号发生器(例如Gong、Pieper型号的信号发生器)的语音输出等向用户60多模式地输出信息。用户接口110可以基于对应的配置数据来实现图形用户接口，在该图形用户接口中显示可以由用户60用来操作车辆80的显示元件和操作元件。附加地或替代地，用户接口可以包含(另外的)显示和操作元件，例如开关、按钮和显示器。
通过通信单元130，控制器120可以与(外部的)后端部件300(例如服务器或服务)进行数据通信140，并且因此例如与后端服务器和/或服务进行通信。替代地或附加地，控制器120可以通过通信单元130与用户60的移动终端设备进行数据通信并且使用由移动终端设备提供的数据和/或传感器。
控制器120优选地经由数据总线(未示出)与多个部件数据连接。经由数据总线(例如CAN总线、FlexRay)，控制装置120例如可以与用户接口110、通信单元130和/或多个其他部件数据连接。此外，控制器120可以被配置为从数据总线接收信号或数据和/或经由数据总线发送信号或数据。
尤其是，系统100可以被配置为，优选基于由车辆80经由上述一个或多个数据总线获取的数据来确定车辆80的运行状态和/或车辆80中的一个或多个乘客的状态。因此，在优选的实施方式中，系统100例如可以确定车辆80是否处于特殊的行驶状态(例如停止、走走停停、中等横向动态或高横向动态、中速或高速)或者是否在特殊模式下运行(例如部分自动化、自动化或自主；参见以上所描述的模式)。
此外，系统100可以具有相对于车辆80在外部的一个或多个后端部件300和/或具有基础设施，所述基础设施提供一个或多个资源(例如服务器、服务)。所述一个或多个后端部件300可以暂时或持久地与车辆80的控制器120和/或与移动终端设备处于数据通信140。优选地，资源密集的处理步骤(例如自然语言和/或图像或视频数据的处理、语音识别、大量外部数据的处理)可以被转移给外部的后端部件300，所述处理步骤难以或者根本不可能通过车辆80中的控制器120和/或通过移动终端设备来进行。在此也可以考虑关于计算性能、存储器性能、可用带宽、到外部数据源的连接等的可能要求。
尤其是，所述一个或多个后端部件300可以被配置为实现基于云的服务和/或应用312，并且向在车辆80中存在的用户界面110提供这样的服务和/或应用的用户界面310。就此而言，所述一个或多个后端部件300尤其是可以被配置为，优选实时地匹配或改变用户界面310的提供，和/或接收用户60经由用户界面110的输入并且将该输入传输给用户界面310。
图2示意性地示出了根据本公开实施方式的用于将用户界面210、310与车辆80的用户界面110耦合的系统100的功能。如已经描述的那样，耦合包括将第一用户界面210、310与第二用户界面连接，从而可以将由第一用户界面210、310再现的或者通过第一用户界面210、310传输的信息(例如图形显示、图像、照片、音频、视频)传输给第二用户界面110以用于通过该第二用户界面进行再现。
在此，针对(第一)用户界面210、310示例性地提到在车辆80的用户60的移动终端设备200(例如智能手机、平板电脑)上执行的应用的用户界面210，以及基于云的应用的用户界面310，其在一个或多个后端部件300上执行。
第一用户界面210、310被配置为再现一个或多个元素211、311，例如包含文本信息、图形、图像、照片、视频、音频信息(例如语音输出、声音、声调、音乐)等。就此而言，用户界面可被理解为多媒体的，并且不仅包括象形图、命令开关面、对话或从经典用户界面中已知的其他元素，而且(也)可以扩展到上述元素和/或另外的元素中的一个或多个。
在第一应用示例中，用户60在其移动终端设备200上执行应用，其中，该应用实现第一用户界面210，在该第一用户界面上再现一个或多个元素211。移动终端设备200和/或用户界面210在用户60的车辆80中的直接操作尤其在行驶期间是有问题的，因为该操作可能影响用户60对车辆80驾驶、交通事件和/或车辆80的其他操作的注意力。因此，通常在法律上禁止车辆驾驶员在行驶期间直接使用移动终端设备。
在第一应用示例中，用户60出于在车辆80中使用的目的将移动终端设备200与相应的控制器120耦合，所述控制器被设置用于连接。连接例如可以有线地(例如经由USB线缆)或无线地(例如经由蓝牙)实现并且包含在移动终端设备200和车辆80的控制器120之间的数据通信，必要时借助通信单元130进行连接。车辆80进一步包含第二用户界面110，其通常被配置或设置用于操作车辆80(例如车辆操作、信息娱乐系统操作、通信、信息、导航)。
基于移动终端设备200和控制器120之间的耦合，用户界面210在车辆80的用户界面110上被复制，使得最小化或完全防止了对用户60注意力的影响。基于启发法151(也称为第一启发法151或再现启发法)来实施用户界面210通过用户界面110的复制，该启发法将用户界面210的一个或多个元素211映射到用户界面110的一个或多个再现元素111上。再现元素111被配置为在用户界面110上映射元素211。在映射中，启发法151可以考虑多种不同的因素。
在第二应用示例中，用户60将可在一个或多个后端部件300上执行的基于云的应用的第一用户界面310与车辆80中的第二用户界面110耦合。耦合基本上类似于第一实施例进行。App或者说应用的类型对于相应的应用示例原则上是不重要的，因为相应的用户界面210、310或者元素211、311在用户界面110上或者通过再现元素111的再现基本上同样地进行。用于映射元素的启发法151(或多个启发法)可同样地应用。
启发法151例如可以包含基于相关性的启发法，用于将所述一个或多个元素211、311映射到一个或多个再现元素111上，其中，基于相关性的启发法将所述一个或多个元素211、311中的至少一个元素的相关性与映射111的一个或多个再现参数相关联。在此，基于相关性的启发法被配置为，完全不映射或以改变的形式映射对于用户60不相关或仅有限相关的元素211。例如，用户界面210可以包含仅与移动终端200的移动使用相关的并且因此在车辆中使用时与用户60不相关的元素(例如电量显示、屏幕定向)。基于相关性的启发法因此可以被配置为在映射到再现元素111上时不考虑不相关的元素211，以便减少所再现的元素的数量。当移动终端200与车辆80的车载电网连接和/或电量足以使得能够维持移动终端设备200的运行时，例如可以不考虑在用户界面110上显示电量。在这种情况下，电量的显示对于用户而言是不相关的或者仅适度相关的并且可以被隐藏。在此适用的是，不必映射到用户界面110上的或可以隐藏的元素211、311不会影响车辆80中的用户60的注意力。
同样地，基于相关性的启发法可以被配置为，以改变的形式或特别突出地映射对于用户60特别相关的元素211。例如，用户界面210可以包含尤其是对于在车辆80中使用移动终端设备200而言相关的并且因此在车辆中使用时对于用户60具有特别的或特别高的相关性的元素(例如导航指示、车辆功能或数据)。基于相关性的启发法因此可以被配置为，在映射到再现元素111上时这样考虑特别相关的元素211，使得所述元素能够被(更)简单和/或(更)快速地察觉，例如以便直接和简单地将用户60的注意力引向相关的再现元素111。例如，可以规定在用户界面110上突出(例如放大、用颜色加亮)显示导航应用的方向箭头。在这种情况下，用户60能够尽可能(更)简单地和/或(更)快速地察觉方向指示。尤其是可以规定，将涉及车辆的行驶运行的元素211、311作为再现元素111在突出的位置(例如平视显示器)上和/或以相应(改变的)形式进行再现。
例如，启发法151还可以包含基于动态的启发法，用于将所述一个或多个元素211、311转换为一个或多个再现元素111，其中，所述基于动态的启发法将所述一个或多个元素211、311中的至少一个元素的显示动态与所述映射的一个或多个再现参数相关联。基于动态的启发法为此尤其是可以考虑元素211、311的再现的动态，和/或考虑其他动态，例如涉及车辆80的行驶状况。
在此，基于动态的启发法可以被配置为，“非”动态地或“较低”动态地(例如静态地)或以简化的形式(例如以降低的动态)映射所述一个或多个元素211、311的动态。例如，第一用户界面210可以包含具有高动态的元素(例如视频、动画)，当这些具有高动态的元素1：1地在第二用户界面110上被再现时，其可能严重影响车辆80的用户60的注意力。因此，基于动态的启发法可以被配置为，将具有高动态的元素211映射到具有低动态的再现元素111上，以便整体上降低再现的动态。例如，视频或动画可以被降低到静态(例如单帧、占位符)或接近静态(例如几个单帧)的再现。然后，代替视频或动画(例如元素211、311)在第二用户界面110上仅再现一个或几个单帧，例如以静止图像、缩略图或照片(例如再现元素111)的形式再现。用户60由于现在静态的或几乎静态的再现元素111的再现而仅仅最低程度地被分心或者根本不被分心，并且因此可以专注于车辆驾驶。在此，基于动态的启发法除了直接的应用情况之外还能够引起积极的“教育效果”，即当用户60通过使用系统100已经习惯于不会“错过”任何信息时，因为在行驶期间本来就停止再现并且规律的“查阅”根本不需要或没有用。基于动态的启发法可以被进一步配置为将另外的运动的或动态的元素在其动态方面降低，例如通过减少或消除典型的和/或仅用于引人注目的动画(例如打开或关闭窗口、对话框；屏幕布局、滚动等)。
在一个示例中，用户60例如可以通过操作操作元件(例如按压、语音输入)来请求(新的)内容或更新已经再现的内容。内容或更新例如可以包含视频(例如足球直播)的(新的)静态图像。优选地，可以基于一个或多个环境参数或者由系统100容许的“允许的分心”来匹配的更新速率(即，可以或允许多频繁地要求更新)。允许的分心可以以已知的方式被量化或影响。文献DE 10 2013 221 867例如公开了可以如何人为地改变系统的保真度和/或延迟，以便由此最小化驾驶员分心。文献DE 10 2018 129 801例如公开了一种方法，利用该方法可以根据情况规定允许的分心，基于此可以匹配车辆中的其他系统。
基于动态的启发法可以附加地或替代地被配置为，考虑车辆80的当前行驶状态。在相应的情境中，检测和考虑车辆80的当前行驶状态对于评估用户60的分心可能是决定性的。因此，在停车时或在走走停停(Stop-and-Go)的交通中，用户60典型地仅需要最小的或非常少的注意力来安全地驾驶车辆80，而在密集的城市交通、多弯道的路段或较高的速度时需要相对高的注意力。同样的情况适用于不同等级的自动化或自主行驶，其中用户60必须根据等级给予车辆不同的注意力。系统100可以检测相应的行驶状态或行驶模式，并且将启发法匹配于行驶状态。一旦对于相应的行驶状态所需的注意力达到或低于确定的水平，尤其可以根据行驶状态延迟地输出信息。如果所需的注意力等级由于行驶状态而如此程度地降低，使得由于在第二用户界面110上对再现元素111进行再现而导致的用户60分心可以被视为不关键的，则系统100可以触发再现。因此，例如在拥堵的情况下(例如车辆80停止)，可以给用户60朗读或再现消息，所述消息之前基于行驶状态被延迟或被隐藏。
启发法151例如还可以包含基于内容的启发法，用于根据用户60对相应用户界面210、310的当前使用来确定元素211、311的上下文敏感的语义。在此，基于内容的启发法被配置为过滤掉原本就针对用户60的注意力和/或以用户的特别注意力为目标的内容(例如广告、广告视频、广告动画、用于吸引注视的视觉改进元素)。
启发法151例如还可以包含基于参数的启发法，用于将第一用户界面210、310的一个或多个参数转换成第二用户界面110的一个或多个参数。在此，第一和第二用户界面的一系列参数(例如屏幕尺寸、分辨率、定向、字体大小、象形图、菜单)可以相互协调，从而能够实现正确的再现和/或一目了然的操作。
另外的启发法(作为第一启发法151的一部分)例如可以包含基于角色的启发法，该基于角色的启发法考虑用户60的角色(例如作为驾驶员、副驾驶员、乘客)，并且因此考虑为了驾驶车辆80对用户60的注意力的要求。例如，基于角色的启发法可以基于用户60使用的车辆80操作部件来推断用户60的角色，例如当用户60使用不能被车辆80的驾驶员使用的用户界面(例如后座娱乐设施)时。
另外的启发法尤其是可以包含在驾驶员角色方面对用户60的个人能力或要求。能力或要求例如可以涉及用户60的视力、听力、反应能力以及包括年龄、性别等的其他特性。在此，确定的能力也可以与情境相关，例如在黄昏或夜间的视力、色盲等，其中，这样的能力优选地手动地或统计地被检测并且规律地或连续地被更新(例如学习、查询、测量)。此外，可以在多个用户60之间进行关联(例如同时使用或时间上错开使用)。在此，个性化的启发法可以检测和考虑各个人员被各个元素多大程度地分心，其中尤其反映不同用户60被相同元素不同程度地分心。这例如能够反映：对于多媒体内容而言，年长的经验较多的用户60的分心减少，而较年轻的经验较不足的用户60分心提高。因此同样地也可以反映：由于较差的照明条件，年长的经验较多的用户的分心提高，而较年轻的经验较不足的用户的分心较少。这能实现各个元素的再现与相应用户60及其特性或角色匹配的个体化适配。可与个性化的启发法相关的其他因素例如包含音频播放的音量、不同亮度的再现、相应的隐私(例如密码输入)等。个性化的启发法的另一方面是将指向第一用户60(例如副驾驶员)的再现元素考虑到第二用户60(例如驾驶员)上。
根据本公开，启发法优选包含关于应用(例如移动应用、网页应用、云应用)内容的预先确定的、学习的和/或加标签的元信息。
作为语音交互的示例，一种启发法优选可以映射以下交互：
·“(再次)显示主页”
·“为我显示页面(<屏幕名称>；<类似的屏幕名称>)”
·“为我显示具有<内容>的页面”(在屏幕中搜索所描述的内容)
·“如此确认”或“确认”
·“在<内容>处勾选”"；“不，在后面勾选”
·“如此发送”或“发送”
·“再返回一页”
·“为我详细显示一次<内容>”
·“更新”/“更新该次”/“更新该图像/视频”等
·“在上面/下面输入一次文本”/“在<内容>下输入一次如下文本(并且将其发送)”
·“激活文本区”/“激活文本区<内容>
启发法优选覆盖的基本屏幕内容类别包含以下中的一个或多个：
·字符文本区域
·数字文本区域
·输入区域
·密码输入区域/登录区域
·用于日期说明、时间说明、日历等的输入/输出区
·静态图形区域
·动态图形区域
·“图像文字说明”
·表->表列名、行内容，也可能附加的提示：“表包括x行…”
·标题
·图像中的文本识别，可选地通过文本替换
·图像的内容识别(例如，“2个脸部”、“狗”等)
·没有内容可用的“背景图形”
·按钮或开关面
·按钮或开关面说明
·典型的图形：
ο“向前”、“向后”、“主界面”
ο购物车
ο“OK”、“继续”、“断开”
ο搜索
ο滚动(“向上”、“向下”、“向左”、“向右”)
ο游标
·触摸手势
ο滑动
ο缩放
此外，例如为了提高图形元素的可读性和/或可识别性，可以进行显示参数的匹配(例如经由对比度匹配、亮度、颜色变化、从文本到背景的选择性颜色变化)。
优选地，可以自动化地学习一种功能，亦即，在应用中的元素是否是“可点击”的或者以其他方式可激活的(例如缩放或滑动区域的存在)。对此的一个示例性实现方案如下：
·将系统加载到(虚拟)机器上
·等待直到输出不发生变化，和/或
·识别即使在没有输入的情况下也偶尔/周期性/连续地改变的图像元素。
·随机实施输入活动：
ο德尔塔观察(Delta-Betrachtung)：
什么发生了改变？
是否存在全新的未知或已知的屏幕内容？
·一般：根据输入和聚类在所有输出之间的相似性树。
·此外：典型操作引导的启发法的使用，例如在不同的应用(例如iOS、安卓变型X、网页应用)中。
系统100优选地被配置为，基于所确定的有效性和/或用户60的当前分心或平均分心，以规律的间隔、连续地和/或根据需要匹配一个或多个启发法。在此，可以检测和分析一个或多个用户60的行为(例如借助于内部空间摄像机、眼睛跟踪或可比的或类似的传感装置)，以便量化瞬时的分心。基于这种量化，然后可以应用各种启发法，并根据一个或多个准则(例如有效性)进行评估。然后，随着时间的进行，可以(必要时多次地)匹配不同的启发法，并且可以为一个或多个用户60选择和应用一个或多个优化的或以其他方式优选的启发法。一个或多个启发法尤其是可以包含：一个或多个用户60的分心超过最大值并且禁止进一步再现内容和/或传输输入。
所述耦合还能实现，借助于第二用户界面110将由车辆80的用户60(例如经由触摸屏、手势、语音输入、经由各种操作元件)进行的输入113传输给第一用户界面以便通过第一用户界面210、310进行处理，优选以输入映射213、313的形式传输。根据本发明，这种耦合允许通过第二用户界面110(该第二用户界面例如通过车辆80中的控制器120实现)对不同的应用进行操作，其中，所述应用最初被设置用于通过第一界面(该第一界面例如通过移动终端设备200或一个或多个后端部件300实现)进行操作。在此，第二界面110根本不通过移动终端设备200或者所述一个或多个后端部件300(例如在基于云的应用的情况下)实现，也就是说，相应的应用并非设置用于借助第二界面进行操作。根据本发明进一步规定，这样进行再现和/或输入的匹配，使得车辆80的用户60的注意力(例如对道路交通、车辆驾驶和/或车辆操作的注意力)不受影响或仅最小程度地受影响，和/或使得车辆80中的输入的不同模式在语义上正确地或有意义地传输给第一用户界面。
输入映射213、313的确定基于用户60(例如通过第二用户界面110或借助车辆80的其他操作元件)的一个或多个输入113以及基于第二启发法152(也称为输入启发法)进行。第二启发法152被配置为，与输入模式无关地将用户60的一个或多个输入113映射到输入映射213、313上，该输入映射然后可以被传输给第一用户界面210、310。
尤其是，第二启发法152可以包含输入模式的启发法。输入模式的启发法被配置为，在将所述一个或多个输入113映射到输入映射213、313上时考虑不同的输入模式。如果用户60不仅基于第二用户界面110(例如通过在触摸屏上敲击)进行输入113而且使用替选的和/或附加的部件来输入，则例如存在不同的输入模式。这样的部件例如可以包含以下中的一个或多个：iDrive控制器(例如旋转/按压调节器)或车辆80中的开关、手势控制、语音输入、表情、头部移动等。例如，用户60可以经由手势控制(例如指向)将光标定位在文本区上以输入目的地地址并且随后经由语音输入来口述目的地地址。最后，用户60可以经由点头来确认输入。这些多模式的输入通过输入模式的启发法相应地映射到输入映射上，例如：类似于以手指在用户界面上滑动来移动光标或以鼠标指针指示、文本输入和点击或触摸开关面。结果是，第一用户界面110和/或车辆80的各种不同的模式被一目了然地(即，不以其他功能或者对第二用户界面的个体化匹配为前提)映射到对应于第一用户界面210、310的输入模式。
图3示例性地示出了根据本公开实施方式的在第二用户界面110上对第一用户界面210的元素211-t、211-s、211-n等的再现。在此，示例性地描述基于移动终端200的用户界面210的耦合。网页应用或基于云的应用的用户界面310的耦合基本上类似地实现。
第一用户界面210包含多个元素，例如文本输入区211-t、静态文本区211-s、数字元素211-n、图形元素211-g、(可滚动的并且必要时静态的)列表元素211-l和动态元素211-d。在此涉及基于当前地点和当前时间对在公共交通中的连接进行询问，其中，这些元素基于相应的文本输入区211-t。文本输入区通过相应的文本输入区111-t——其输入如上所述的那样被传输到用户界面210——在第二用户界面110上再现。如所示出的那样再现其它元素，其中避免了带有过多信息的显示的超载。这里，用户60可以经由一个或多个语音输入(例如，“显示列表的其他元素”或“朗读搜索结果”)来调用连续显示。此外，能够在中央信息显示器上实现与应用相比放大的显示，这能实现在用户侧更快地获取内容。
图4示出了根据本公开实施方式的用于将用户界面210、310与车辆的用户界面110耦合的方法400的流程图。用于将第一用户界面210、310与第二用户界面110耦合的方法400在步骤401开始。第一用户界面210、310优选通过移动终端设备200或者通过一个或多个后端部件300来实现。第二用户界面110优选通过车辆80的控制器120实现。在步骤402中，检测第一用户界面210、310的一个或多个元素211、311。在步骤406中，基于第一启发法151和所述一个或多个元素211、311确定一个或多个再现元素111。所述一个或多个再现元素111被配置成映射所述一个或多个元素211、311的至少一部分。在步骤408中，在第二用户界面110上再现所述一个或多个再现元素111。该方法在步骤420结束。
尽管通过优选实施例详细示出并阐述了本发明，但是本发明不受所公开的示例的限制并且本领域技术人员可以从中导出其他变型方案，而不脱离本发明的保护范围。因此清楚的是，存在大量变型可能性。同样清楚的是，示例性地提到的实施方式实际上仅构成不应以任何方式理解为例如对本发明的保护范围、应用可能性或配置的限制的示例。相反，上述说明和附图说明使得本领域技术人员能够具体实现示例性的实施方式，其中，本领域技术人员在了解所公开的发明构思的情况下，例如可以在各个在示例性的实施方式中提到的元件的功能或布置方面进行各种变化，而不偏离保护范围，该保护范围通过权利要求及其法律上的等同方案、例如说明书中的进一步阐述来限定。

Claims (12)

1.一种用于将第一用户界面(210、310)与第二用户界面(110)耦合的方法(400)，其中，所述第一用户界面(210、310)通过移动终端设备(200)或者通过一个或多个后端部件(300)来实现，并且所述第二用户界面(110)通过车辆(80)的控制器(120)来实现，所述方法包括：
检测(402)所述第一用户界面(210、310)的一个或多个元素(211、311)；
基于第一启发法(151)和所述一个或多个元素(211、311)确定(406)一个或多个再现元素(111)，所述一个或多个再现元素(111)被配置为映射所述一个或多个元素(211、311)的至少一部分；以及
在所述第二用户界面(110)上再现(408)所述一个或多个再现元素(111)。
2.根据前述权利要求1所述的方法(400)，其中，所述第一启发法进一步包括：
基于相关性的启发法，用于将所述一个或多个元素(211、311)转换为所述一个或多个再现元素(111)，所述基于相关性的启发法将所述一个或多个元素(211、311)中的至少一个元素的相关性与所述映射(111)的一个或多个再现参数建立关联；优选地，所述基于相关性的启发法考虑所述一个或多个元素(211、311)对于所述车辆(80)用户(60)的当前相关性。
3.根据前述权利要求1或2所述的方法(400)，其中，所述第一启发法进一步包括：
基于动态的启发法，用于将所述一个或多个元素转换为一个或多个再现元素，所述基于动态的启发法将所述一个或多个元素(211、311)中的至少一个元素的显示动态与所述映射(111)的一个或多个再现参数建立关联；优选地，所述基于动态的启发法考虑所述车辆(80)的当前行驶状态。
4.根据前述权利要求1至3中任一项所述的方法(400)，其中，所述第一启发法进一步包括：
基于参数的启发法，用于将所述第一用户界面(210、310)的一个或多个参数转换为所述第二用户界面(110)的一个或多个参数；优选地，所述基于参数的启发法考虑在所述第二用户界面(110)上再现所述一个或多个元素(211、311)的通用映射规则。
5.根据前述权利要求1至4中任一项所述的方法(400)，进一步包括：
检测(410)所述车辆(80)的用户(60)的一个或多个输入(113)；
基于第二启发法(152)确定(412)所述一个或多个输入(113)的输入映射(213、313)；以及
将所述输入映射(213、313)传输(414)到所述第一用户界面(210、310)上。
6.根据前述权利要求5所述的方法(400)，其中，所述第二启发法进一步包括：
输入模式的启发法，用于将所述用户(60)的一个或多个输入映射到所述第一用户界面(210、310)的输入模式。
7.根据前述权利要求5或6所述的方法(400)，其中，检测(410)一个或多个输入(113)、确定(412)输入映射(213、313)以及将输入映射(213、313)传输(414)到第一用户界面(210、310)上的步骤基本上实时地进行。
8.根据前述权利要求1至7中任一项所述的方法(400)，其中，检测(402)一个或多个元素(211、311)、确定(406)一个或多个再现元素(111)和在第二用户界面(110)上再现(408)一个或多个再现元素(111)的步骤基本上实时地进行。
9.根据前述权利要求1至8中任一项所述的方法(400)，进一步包括：优选以规律的间隔重复、基本上连续地或根据需要地，
检测表征所述车辆(80)的一个或多个用户(60)的行为的一个或多个行为参数；和
基于所述行为参数确定一个或多个注意力参数，所述一个或多个注意力参数表征所述一个或多个用户(60)的涉及车辆(80)运行的注意力。
10.根据前述权利要求9所述的方法(400)，进一步包括：
基于所确定的所述一个或多个注意力参数来匹配第一启发法(151)和/或第二启发法(152)。
11.一种用于为车辆(80)的一个或多个用户(60)提供信息的系统(100)，所述系统(100)包括：
控制器(120)；和/或
一个或多个后端部件(300)；其中，
所述控制器(120)和/或所述一个或多个后端部件(300)被配置为实施根据前述权利要求1至10中任一项所述的方法(400)。
12.一种包括控制器(120)的车辆(80)，其中，所述控制器(120)被配置为实施根据前述权利要求1至10中任一项所述的方法(400)的一个或多个步骤、优选所有步骤。
CN202080034220.XA 2019-07-05 2020-06-05 用户界面耦合 Pending CN113811851A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019118189.5 2019-07-05
DE102019118189.5A DE102019118189A1 (de) 2019-07-05 2019-07-05 Koppelung von Benutzeroberflächen
PCT/EP2020/065617 WO2021004708A1 (de) 2019-07-05 2020-06-05 Koppelung von benutzeroberflächen

Publications (1)

Publication Number Publication Date
CN113811851A true CN113811851A (zh) 2021-12-17

Family

ID=71078508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080034220.XA Pending CN113811851A (zh) 2019-07-05 2020-06-05 用户界面耦合

Country Status (4)

Country Link
US (1) US20220197457A1 (zh)
CN (1) CN113811851A (zh)
DE (1) DE102019118189A1 (zh)
WO (1) WO2021004708A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022100137A1 (de) * 2022-01-04 2023-07-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren für ein Fortbewegungsmittel zur Verwendung einer berührungsempfindlichen Eingabevorrichtung für eine Streaming-Box
DE102022116466A1 (de) 2022-07-01 2024-01-04 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur fahrzeugoptimierten Darstellung relevanter Inhalte eines Videospiels über eine Mehrzahl an Ausgabeeinheiten
DE102022131817A1 (de) 2022-11-30 2024-06-06 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bereitstellen eines Dialogsteuerungsobjekts eines digitalen Assistenten eines Fahrzeugs an einen Nutzer des Fahrzeugs, computerlesbares Medium, System, und Fahrzeug

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100293462A1 (en) * 2008-05-13 2010-11-18 Apple Inc. Pushing a user interface to a remote device
CN103116399A (zh) * 2011-12-16 2013-05-22 微软公司 基于推断的交通工具状态提供用户接口体验的方法和装置
US20130275899A1 (en) * 2010-01-18 2013-10-17 Apple Inc. Application Gateway for Providing Different User Interfaces for Limited Distraction and Non-Limited Distraction Contexts
US20140106726A1 (en) * 2012-10-16 2014-04-17 Excelfore Corporation System and Method for Monitoring Apps in a Vehicle to Reduce Driver Distraction
US20140181715A1 (en) * 2012-12-26 2014-06-26 Microsoft Corporation Dynamic user interfaces adapted to inferred user contexts
CN104750379A (zh) * 2013-12-30 2015-07-01 上海博泰悦臻网络技术服务有限公司 车载系统的用户界面显示方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005004431A2 (de) * 2003-07-01 2005-01-13 Siemens Aktiengesellschaft Kraftfahrzeug-multimediasystem
WO2005055046A1 (en) * 2003-11-20 2005-06-16 Volvo Technology Corporation Method and system for interact between a vehicle driver and a plurality of applications
US20090284476A1 (en) * 2008-05-13 2009-11-19 Apple Inc. Pushing a user interface to a remote device
US10592092B2 (en) * 2009-07-02 2020-03-17 Uusi, Llc. User interface with proximity detection for object tracking
DE102009048178A1 (de) * 2009-10-02 2011-04-07 Volkswagen Ag Verfahren zum Anzeigen einer sich zeitlich ändernden Teilmenge aus einer Gesamtmenge von Objekten und Anzeigevorrichtung dazu
DE102011112445A1 (de) * 2011-03-12 2012-09-13 Volkswagen Aktiengesellschaft Multifunktionsbedieneinrichtung
US9116563B2 (en) * 2011-10-28 2015-08-25 Honda Motor Co., Ltd. Connecting touch screen phones in a vehicle
US9235941B2 (en) * 2012-03-14 2016-01-12 Autoconnect Holdings Llc Simultaneous video streaming across multiple channels
JP6396320B2 (ja) * 2012-12-20 2018-09-26 エアビクティ インコーポレイテッド 効率的なヘッドユニット通信統合
KR20140082000A (ko) * 2012-12-21 2014-07-02 주식회사 팬택 관련 어플리케이션 제공 단말 및 방법
US10251034B2 (en) * 2013-03-15 2019-04-02 Blackberry Limited Propagation of application context between a mobile device and a vehicle information system
US9535602B2 (en) * 2013-07-15 2017-01-03 BNC Systems Ltd. System and method for promoting connectivity between a mobile communication device and a vehicle touch screen
DE102013221867B4 (de) * 2013-10-28 2022-09-01 Bayerische Motoren Werke Aktiengesellschaft Dateneingabevorrichtung für Kraftfahrzeuge und Verfahren zum Eingeben von Daten mit einer Dateneingabevorrichtung in einem Kraftfahrzeug
US9262924B2 (en) * 2014-07-09 2016-02-16 Toyota Motor Engineering & Manufacturing North America, Inc. Adapting a warning output based on a driver's view
DE102014017173A1 (de) * 2014-11-20 2016-05-25 Audi Ag Verfahren zum Steuern von Funktionen einer externen Vorrichtung in einem Fahrzeug
US9452678B1 (en) * 2015-11-17 2016-09-27 International Business Machines Corporation Adaptive, automatically-reconfigurable, vehicle instrument display
GB2567164A (en) * 2017-10-04 2019-04-10 Continental Automotive Gmbh Display system in a vehicle
DE102018129801A1 (de) 2018-11-26 2020-05-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln einer erforderlichen Aufmerksamkeit eines Fahrers eines Fahrzeugs
US11377114B2 (en) * 2019-03-14 2022-07-05 GM Global Technology Operations LLC Configuration of in-vehicle entertainment based on driver attention

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100293462A1 (en) * 2008-05-13 2010-11-18 Apple Inc. Pushing a user interface to a remote device
US20130275899A1 (en) * 2010-01-18 2013-10-17 Apple Inc. Application Gateway for Providing Different User Interfaces for Limited Distraction and Non-Limited Distraction Contexts
CN103116399A (zh) * 2011-12-16 2013-05-22 微软公司 基于推断的交通工具状态提供用户接口体验的方法和装置
US20130157607A1 (en) * 2011-12-16 2013-06-20 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US20140106726A1 (en) * 2012-10-16 2014-04-17 Excelfore Corporation System and Method for Monitoring Apps in a Vehicle to Reduce Driver Distraction
US20140181715A1 (en) * 2012-12-26 2014-06-26 Microsoft Corporation Dynamic user interfaces adapted to inferred user contexts
CN104750379A (zh) * 2013-12-30 2015-07-01 上海博泰悦臻网络技术服务有限公司 车载系统的用户界面显示方法及装置

Also Published As

Publication number Publication date
US20220197457A1 (en) 2022-06-23
DE102019118189A1 (de) 2021-01-07
WO2021004708A1 (de) 2021-01-14

Similar Documents

Publication Publication Date Title
EP3502862B1 (en) Method for presenting content based on checking of passenger equipment and distraction
US11034362B2 (en) Portable personalization
US20190394097A1 (en) Vehicle application store for console
EP2726981B1 (en) Human machine interface unit for a communication device in a vehicle and i/o method using said human machine interface unit
US9098367B2 (en) Self-configuring vehicle console application store
US10325519B2 (en) Vehicle tutorial system and method for sending vehicle tutorial to tutorial manager device
CN113811851A (zh) 用户界面耦合
US9613459B2 (en) System and method for in-vehicle interaction
CN103493030B (zh) 通过添加来自便携式设备的远程传感器来增强车辆信息娱乐系统
US20170286785A1 (en) Interactive display based on interpreting driver actions
US20150378596A1 (en) System and method for promoting connectivity between a mobile communication device and a vehicle touch screen
Meixner et al. Retrospective and future automotive infotainment systems—100 years of user interface evolution
US20190051302A1 (en) Technologies for contextual natural language generation in a vehicle
WO2016084360A1 (ja) 車両用表示制御装置
US11858418B2 (en) System for generating pseudo driving sound
CN112513708B (zh) 用于与车辆一起使用的设备和方法
US20230393801A1 (en) Synchronized rendering
KR20220054370A (ko) 자동차에 확장된 기능을 제공하는 장치 및 그 방법
EP4086580A1 (en) Voice interaction method, apparatus and system, vehicle, and storage medium
CN110015309B (zh) 车辆驾驶辅助系统和方法
KR102063874B1 (ko) 차량 컨트롤러 및 실시간의 차량 상태 신호에 따른 출력 메시지의 입출력 방법
US20180054570A1 (en) Systems for effecting progressive driver-distraction-avoidance actions at a vehicle
WO2023153314A1 (ja) 車内機器制御装置、車内機器制御方法
CN118131964A (zh) Ui界面交互方法、显示设备、服务器及车辆
CN116679896A (zh) 车辆多屏控制方法、电子设备、存储介质及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination