CN116069199A - 界面交互方法、电子设备、介质以及程序产品 - Google Patents

Abstract

本公开的实施例提供了一种界面交互方法、电子设备、存储介质以及程序产品。在该方法中，终端设备(例如，移动设备)可以基于与车机设备的连接，来从车机设备接收图像信息。车机设备可以与一组车载显示设备(例如，车载中控显示设备、副驾驶座显示设备、后排显示设备等)相关联。进一步地，终端设备可以基于图像信息来呈现目标界面，目标界面包括与该组车载显示设备所呈现的一组车载界面对应的一组窗口。当接收到与该组窗口相关联的交互操作时，终端设备可以向车机设备发送与交互操作对应的交互信息，以使得车机设备执行与该交互操作对应的动作。基于这样的方式，本公开的实施例能够通过终端设备来对车载显示设备的界面进行快捷的操控，从而能够提高交互的便捷性，并且保证驾驶过程中的交互安全性。

Description

界面交互方法、电子设备、介质以及程序产品

技术领域

本公开总体上涉及信息技术领域，并且更特别地涉及一种界面交互方法、电子设备、计算机可读存储介质、以及计算机程序产品。

背景技术

随着电子技术的迅猛发展，车辆也变得越来越智能化。各种类型地交互方式逐渐被集成到车辆中，以为驾驶者或乘客提供更为便捷和安全的交互体验。近年来，车辆中的多屏化和联屏化也逐渐成为车辆座舱显示屏发展的新趋势。例如，乘客可以在车辆行驶过程中利用副驾位置或后排位置的娱乐屏来例如进行各种类型的娱乐活动。

发明内容

本公开的实施例涉及一种终端设备与车机设备之间互联以实现针对车载界面的远程交互的方案，并且具体提供了界面交互方法、电子设备、计算机可读存储介质、以及计算机程序产品。

在本公开的第一方面，提供了一种界面交互方法。在该方法中，终端设备基于与车机设备的连接，从车机设备接收图像信息，车机设备与一组车载显示设备相关联，图像信息是车机设备基于由一组车载显示设备所呈现的一组车载界面而生成。进一步地，终端设备基于图像信息呈现目标界面，目标界面包括与一组车载界面对应的一组窗口。相应地，响应于接收到与一组窗口相关联的交互操作，终端设向车机设备发送与交互操作对应的交互信息。

基于这样的方式，本公开的实施例能够通过终端设备来对车载显示设备的界面进行快捷的操控，从而能够提高交互的便捷性，并且保证驾驶过程中的交互安全性。

在一些实施例中，方法还包括：从车机设备接收更新图像信息，更新图像信息对应于一组更新的车载界面，一组更新的车载界面中的至少一个界面响应于交互信息而被更新；以及基于更新图像信息，呈现更新界面。

由此，本公开的实施例能够使得用户如同直接在对应的车载显示设备上进行交互，进而提升用户的交互体验。

在一些实施例中，基于图像信息呈现目标界面包括：基于图像信息，生成与一组车载界面对应的一组图像；基于一组图像，生成与一组车载界面对应的一组窗口；以及呈现包括所生成的一组窗口的目标界面。由此，本公开的实施例能够允许用户远程地查看一个或多个车载显示设备的当前界面，从而方便对于车载显示设备的管理。

在一些实施例中，目标界面还包括与一组窗口对应的一组窗口标识，其中窗口标识用于指示与相应窗口对应的车载显示设备。由此，本公开的实施例能够允许用户更加方便地了解窗口是对应于哪个车载显示设备。

在一些实施例中，方法还包括：接收与一组窗口相关联的交互操作；确定与交互操作所对应的位置信息，位置信息指示交互操作在终端设备上发生的位置；从一组窗口中确定与位置信息对应的目标窗口；以及基于位置信息和目标窗口在终端设备中的窗口显示区域，生成交互信息。由此，本公开的实施例能够提升用户交互的准确性，并降低交互的延迟。

在一些实施例中，位置信息为第一位置信息，并且基于第一位置信息和目标窗口在终端设备中的窗口显示区域生成交互信息包括：基于窗口显示区域，将第一位置信息变换为第二位置信息，其中第一位置信息指示在与终端设备相关联的第一坐标系中的第一组坐标，第二位置信息指示与目标窗口对应的第二坐标系中的第二组坐标；以及基于第二位置信息，生成交互信息，交互信息还包括用于指示与目标窗口对应的目标车载显示设备的设备信息。

由此，本公开的实施例能够允许快捷地操作对应的终端显示设备，从而提升交互的便利性。

在一些实施例中，交互操作为第一交互操作，交互信息为第一交互信息，目标界面还包括与终端设备的本地应用相关联的界面元素，方法还包括：接收与界面元素相关联的第二交互操作，第二交互操作指示对与车机设备相关联的目标I/O设备的使用；以及向车机设备发送与第二交互操作对应的第二交互信息，以使目标I/O设备被启动。

由此，本公开的实施例能够允许终端设备调用车载资源来执行交互，从而提升了丰富了交互场景，并提升了便利性。

在一些实施例中，方法还包括：向车机设备发送禁用请求，以使一组车载显示设备中的至少一个车载显示设备的屏幕交互功能被禁用。由此，本公开的实施例能够进一步加强对于车载显示设备的控制和管理。

在一些实施例中，方法还包括：建立与车机设备的连接，使得与车机设备相关联的车载资源被虚拟化为终端设备的虚拟资源，车载资源包括一组车载显示设备。在一些实施例中，车载资源还包括与车载机备相关联的输入输出I/O设备，输出输入设备包括以下至少一项：相机、麦克风或扬声器。由此，本公开的实施例能够高效地实现设备之间的同步和通信。

在一些实施例中，一组车载显示设备包括以下至少一项：中控显示设备、副驾驶显示设备或后排显示设备。

在本公开的第二方面，提供了一种界面交互方法。在该方法中，车机设备基于与终端设备的连接向终端设备发送图像信息，图像信息基于由一组车载显示设备所呈现的一组车载界面而生成。进一步地，车机设备从终端设备接收交互信息，交互信息是基于与终端设备的目标界面中的一组窗口相关联的交互操作而被生成，目标界面基于图像信息而被生成并且包括与一组车载界面对应的一组窗口。相应地，车机设备执行与交互信息对应的交互动作。

基于这样的方式，本公开的实施例能够通过终端设备来对车载显示设备的界面进行快捷的操控，从而能够提高交互的便捷性，并且保证驾驶过程中的交互安全性。

在一些实施例中，方法还包括：基于交互动作的执行，生成更新图像信息，更新图像信息对应于一组更新的车载界面，一组更新界面中的至少一个车载界面响应于交互动作而被更新；以及向终端设备发送更新图像信息。

由此，本公开的实施例能够使得用户如同直接在对应的车载显示设备上进行交互，进而提升用户的交互体验。

在一些实施例中，方法还包括：基于交互信息中的设备信息，确定与交互信息对应的目标车载显示设备；以及基于目标车载显示设备和由交互信息中的位置信息，确定与交互信息对应的交互动作。由此，本公开的实施例能够提升用户交互的准确性，并降低交互的延迟。

在一些实施例中，执行与交互信息对应的交互动作包括以下至少一项：向与车机设备连接的车辆组件发送对应的控制指令，控制指令基于交互信息而被生成；或者使一组车载界面中的至少一个车载界面响应于交互信息而被更新。由此，本公开的实施例能够提供更加丰富的远程交互能力。

在一些实施例中，交互操作为第一交互操作，交互信息为第一交互信息，目标界面还包括与终端设备的本地应用相关联的界面元素，方法还包括：从终端设备接收第二交互信息，第二交互信息是基于与界面元素相关联的第二交互操作而被生成，第二交互操作指示对与车机设备相关联的目标I/O设备的使用；以及启用目标I/O设备，以供终端设备使用。

由此，本公开的实施例能够允许终端设备调用车载资源来执行交互，从而提升了丰富了交互场景，并提升了便利性。

在一些实施例中，方法还包括：响应于从终端设备接收的禁用请求，使一组车载显示设备中的至少一个车载显示设备的屏幕交互功能被禁用。由此，本公开的实施例能够进一步加强对于车载显示设备的控制和管理。

在一些实施例中，方法还包括：建立与终端的连接，使得与车机设备相关联的车载资源被虚拟化为终端设备的虚拟资源，车载资源包括一组车载显示设备。在一些实施例中，车载资源还包括与车机设备相关联的输入输出I/O设备，输出输入设备包括以下至少一项：相机、麦克风或扬声器。由此，本公开的实施例能够高效地实现设备之间的同步和通信。

在一些实施例中，一组车载显示设备包括以下至少一项：中控显示设备、副驾驶显示设备或后排显示设备。

在本公开的第三方面，提供了一种终端设备。电子设备包括处理器以及存储有指令的存储器。指令在被处理器执行时使得终端设备执行根据第一方面及其实现方式的任一方法。

在本公开的第四方面，提供了一种车机设备。电子设备包括处理器以及存储有指令的存储器。指令在被处理器执行时使得车机设备执行根据第二方面及其实现方式的任一方法。

在本公开的第五方面，提供了一种计算机可读存储介质。计算机可读存储介质存储有指令，指令在被电子设备执行时使得电子设备执行第一方面及其实现方式的任一方法。

在本公开的第六方面，提供了一种计算机程序产品。计算机程序产品包括指令，指令在被电子设备执行时使得电子设备执行第一方面及其实现方式的任一方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的关键或重要特征，亦非用于限制本公开的范围。本公开的其他特征通过以下的描述将变得容易理解。

附图说明

通过参考附图阅读下文的详细描述，本公开的实施例的上述以及其他目的、特征和优点将变得容易理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施例。

图1示出了可以实现本公开的实施例的一种电子设备的硬件结构的示意图。

图2示出了可以实施根据本公开的实施例的示例环境的示意图。

图3A至图3C示出了根据本公开的实施例的示例界面的示意图。

图4A至图4C示出了根据本公开实施例的示例交互过程的示意图。

图5示出了根据本公开的实施例的交互方法的示例过程。

图6示出了根据本公开的实施例的交互系统的示意架构图。

图7示出了根据本公开的实施例的交互系统的示例交互过程。

图8示出了根据本公开的一些实施例的界面交互方法的示例过程的流程图。

图9示出了根据本公开的又一些实施例的界面交互方法的示例过程的流程图。

贯穿所有附图，相同或者相似的参考标号被用来表示相同或者相似的组件。

具体实施方式

下文将参考附图中示出的若干示例性实施例来描述本公开的原理和精神。应当理解，描述这些具体的实施例仅是为了使本领域的技术人员能够更好地理解并实现本公开，而并非以任何方式限制本公开的范围。在以下描述和权利要求中，除非另有定义，否则本文中使用的所有技术和科学术语具有与所属领域的普通技术人员通常所理解的含义。

如本文所使用的，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象，并且仅用于区分所指代的对象，而不暗示所指代的对象的特定空间顺序、时间顺序、重要性顺序，等等。在一些实施例中，取值、过程、所选择的项目、所确定的项目、设备、装置、手段、部件、组件等被称为“最佳”、“最低”、“最高”、“最小”、“最大”，等等。应当理解，这样的描述旨在指示可以在许多可使用的功能选择中进行选择，并且这样的选择不需要在另外的方面或所有方面比其他选择更好、更低、更高、更小、更大或者以其他方式优选。如本文所使用的，术语“确定”可以涵盖各种各样的动作。例如，“确定”可以包括运算、计算、处理、导出、调查、查找(例如，在表格、数据库或另一数据结构中查找)、查明等。此外，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。再者，“确定”可以包括解析、选择、选取、建立等。

示例设备

图1示出了可以实施本公开的实施例的一种电子设备100的硬件结构的示意图。如图1所示，电子设备100可以包括处理器110、外部存储器接口120、内部存储器121、通用串行总线(universal serial bus，USB)接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、传感器模块180、按键190、马达191、指示器192、摄像头193、显示屏194、以及用户标识模块(subscriber identification module，SIM)卡接口195等。传感器模块180可以包括压力传感器180A、陀螺仪传感器180B、气压传感器180C、磁传感器180D、加速度传感器180E、距离传感器180F、接近光传感器180G、指纹传感器180H、温度传感器180J、触摸传感器180K、环境光传感器180L、骨传导传感器180M等。

应当理解，本公开的实施例所示意的结构并不构成对电子设备100的具体限定。在本公开的另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processingunit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口、集成电路内置音频(inter-integrated circuitsound，I2S)接口、脉冲编码调制(pulse code modulation，PCM)接口、通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口、移动产业处理器接口(mobile industry processor interface，MIPI)、通用输入输出(general-purposeinput/output，GPIO)接口、用户标识模块(subscriber identity module，SIM)接口、和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K、充电器、闪光灯、摄像头193等。例如，处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现电子设备100的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样、量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如，处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194、摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)、显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193、显示屏194、无线通信模块160、音频模块170、传感器模块180等。GPIO接口还可以被配置为I2C接口、I2S接口、UART接口、MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口、Micro USB接口、USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本公开的实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本公开的另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备100供电。

电源管理模块141用于连接电池142、充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110、内部存储器121、显示屏194、摄像头193、和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如，可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G/6G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器、开关、功率放大器、低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A、受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星系统(global navigation satellite system，GNSS)、调频(frequency modulation，FM)、近距离无线通信技术(near field communication，NFC)、红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(GSM)、通用分组无线服务(GPRS)、码分多址接入(CDMA)、宽带码分多址(WCDMA)、时分码分多址(TD-SCDMA)、长期演进(long termevolution，LTE)、5G以及后续演进标准、BT、GNSS、WLAN、NFC、FM、和/或IR技术等。其中GNSS可以包括全球卫星定位系统(GPS)、全球导航卫星系统(GLONASS)、北斗卫星导航系统(BDS)、准天顶卫星系统(QZSS)和/或星基增强系统(SBAS)。

电子设备100通过GPU、显示屏194、以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可以包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据。例如，在拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如，动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3、MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如图像识别、人脸识别、语音识别、文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐、视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令、和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。

电子设备100可以通过音频模块170、扬声器170A、受话器170B、麦克风170C、耳机接口170D、以及应用处理器等实现音频功能。例如音乐播放，录音等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡、Micro SIM卡、SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本公开的实施例以分层架构的一种移动操作系统为例，示例性说明电子设备100的软件结构。

基本原理

如上文所讨论的，车辆在人们的日常生活中正扮演越来越重要的角色。各种电子化技术也逐渐地被应用到车辆中。目前，一个显著的趋势是，车辆正通过各种类型的屏幕来为驾驶者或乘客提供更加丰富的信息，以方便驾驶员的驾驶或者使乘客的行程更加丰富。

示例性地，除传统的车辆中控屏幕外，一些车辆还可以通过部署副驾驶显示设备、后排显示设备或者被安装在其他适当位置的显示设备来为车内的乘客提供诸如新闻、天气、导航、影音等内容。

然而，这样的车内交互方式也可能会引发不期望的各种问题。例如，一些儿童座椅可能只能被安装在后排座位，这可能会导致后排的儿童在单独在后排乘坐时可能不知晓如何与后排显示设备交互来获取期望的内容，或者前排的驾驶员或副驾驶乘客可能不期望儿童利用后排显示设备来获取某些特定内容。

例如，在一个场景中，车辆可能仅包括驾驶员和后排的儿童乘客两人，儿童乘客可能无法掌握后排显示设备的交互方法，这导致可能需要驾驶员到后排来进行协助。或者，在驾驶过程中，儿童乘客可能会有一些特定的需求，这导致驾驶员可能不得不临时停靠车辆。

在另一个场景中，副驾驶位的乘客可能是后排乘客的家长，其可能不期望后排乘客在车辆驾驶图中通过后排显示设备来进行游戏。这导致家长可能需要频繁转身去控制后排显示设备。

在又一个场景中，副驾驶位的乘客可能不熟悉车辆交互系统，其可能无法快速地利用副驾驶显示设备来获取想要的服务。这使得其可能会寻求驾驶员的服务，从而导致驾驶员在驾驶过程中可能出现一些危险行为。

能够看到，虽然车辆内的屏幕系统能够为乘客或驾驶员带来更加丰富的内容，但目前其也可能会带来一些不便利问题，甚至是安全隐患。

有鉴于此，根据本公开的实施例，提供了一种界面交互方案。具体地终端设备(例如，移动设备)可以基于与车机设备的连接，来从车机设备接收图像信息。车机设备可以与一组车载显示设备(例如，车载中控显示设备、副驾驶座显示设备、后排显示设备等)相关联。进一步地，终端设备可以基于图像信息来呈现目标界面，目标界面包括与该组车载显示设备所呈现的一组车载界面对应的一组窗口。当接收到与该组窗口相关联的交互操作时，终端设备可以向车机设备发送与交互操作对应的交互信息，以使得车机设备执行与该交互操作对应的动作。

由此，本公开的实施例能够在终端设备呈现车载显示设备的界面，以方便了解不同车载显示设备的状态。此外，本公开的实施例还能够允许基于终端设备上的交互操作来远程地控制对应的车载显示设备。由此，本公开的实施例能够提高交互的便捷性，并且保证驾驶过程中的交互安全性。

以下将结合附图来描述根据本公开实施例的界面交互方案。

示例环境

图2示出了本公开的多个实施例能够在其中实现的示例环境200的示意图。该示例环境200可以包括终端设备210以及与终端设备210通信连接的车机设备240。在一些实施例中，终端设备210可以通过任何适当的连接方式来与车机设备240连接，其示例可以包括但不限于：诸如经由USB线缆的有线连接、诸如基于蓝牙、Wi-Fi、蜂窝网络的无线连接等。

在一些实施例中，终端设备210可以包括任何适当类型的电子设备，例如，智能手机、平板电脑、笔记本电脑、智能手表、智能眼镜、智能投影等。如图2所示，这样的终端设备210可以利用相应的显示屏或投影设备来呈现如220所示的图形界面UI 220。

在一些实施例中，车机设备240可以与一个或多个车载显示设备相关联。如图2所示，车机设备240例如可以用于控制多个车辆显示设备250-1和250-2(单独或统一称为车载显示设备250)。应当理解，虽然车载显示设备250在图2中示出为包括中控显示设备250-1和副驾驶显示设备250-2，但在保证车辆安全性的情况下，这样的车载显示设备250例如还可以被部署在车内任何的适当位置，例如后排显示设备等。

示例性地，这样的车载显示设备250可以呈现对应的车载界面，例如车载界面260-1和车载界面260-2(单独或统一称为车载界面260)。示例性地，中控车载显示设备250-1例如可以呈现车载界面260-1，其例如可以包括用于控制不同车辆组件(例如，空调、灯光、天窗等)的界面元素。副驾驶显示设备250-2例如可以呈现车载界面260-2，其例如可以包括与娱乐功能相关联的界面元素。

根据本公开的界面交互方案，基于终端设备210和车机设备240之间的连接，终端设备210可以从车机设备240接收图像信息，以用于呈现界面220。如图2所示，界面220例如可以包括与中控显示设备250-1的车载界面260-1所对应的第一窗口230-1。界面220例如还可以包括与副驾驶显示设备250-2的车载界面260-2所对应的第二窗口230-2。第一窗口230-1和第二窗口230-1例如可以单独或统一称为窗口230。关于生成界面220的具体实现将在下文结合图5详细描述，在此暂不详叙。

基于这样的方式，本公开的实施例使得驾驶员、乘客或者其他适当的用户(不一定在车辆内部)能够通过终端设备来快捷地查看一个或多个车载显示设备当前呈现的界面。

在一些实施例中，本公开的实施例还允许用户通过终端设备210来远程地车载界面进行交互。示例性地，用户例如可以通过终端设备210所提供的触摸屏幕来直接对窗口230中的元素进行操作，这使得用户如同直接在操控对应的车载显示设备250。例如，用户可以通过点击终端设备210所呈现的界面220中的界面元素来例如调整车辆空调的温度。关于远程交互的具体实现将在下文结合图5详细描述，在此暂不详叙。

基于这样的方式，本公开的实施例还使得驾驶员、乘客或者其他适当的用户(不一定在车辆内部)能够通过终端设备来快捷地操作一个或多个车载显示设备当前呈现的界面。

示例界面

以下将参考图3A至图3C来描述利用终端设备210所呈现的界面来查看车载终端显示设备250的车载界面260的示例。

图3A示出了根据本公开的一些实施例的示例界面的示意图300A。如图3A所示，在终端设备210与车机设备240建立通信连接后，终端设备210例如可以呈现第一界面310。如图3A所示，第一界面310例如可以包括车载信息显示区域302，其例如可以呈现与一组车载显示设备250有关的信息。

在一些实施例中，车载信息显示区域302例如可以包括当前已经启用的车载显示设备的标识(例如，“中控显示设备”和“副驾驶显示设备”)。备选地，车载信息显示区域302也可以包括与车机设备240相关联的、但当前未被启用的车载显示设备的信息(例如，标识“后排显示设备”)。

在一些实施例中，车载信息显示区域320可以包括与车载界面260对应的实时图像，其例如可以通过较小的分辨率被呈现。由此，用户可以直观地了解到对应车载显示设备250的实时状态，而又不会影响到用户对于当前终端设备210的正常操作。例如，终端设备210还可以通过显示区域304来呈现本地视频应用的界面。

在一些实施例中，车载信息显示区域320中与车载界面260对应的图像例如可以以较低的频率被刷新。例如，终端设备210例如可以按24帧每秒的频率来接收车载界面260的图像，但其例如可以按照每秒4帧的频率来更新车载信息显示区域320中的图像。由此，本公开的实施例既能够满足用户查看对应车载显示设备250的实时状态的需求，又能够降低终端设备渲染图像的开销。

在一些实施例中，车载信息显示区域320例如可以不呈现与车载界面260对应的图像，而只有在用户发起查看相应车载界面260的请求时，才提供与车载界面260对应的窗口。

如图3B所示，当用户发起了查看中控显示设备的车载界面的详情的请求时，终端设备210例如可以呈现第二界面320。示例性地，用户例如可以通过终端设备210的触摸屏幕来点击第一界面310中的文字“中控显示设备”或上方的图像或视频，以发起查看中控显示设备250-1的实时界面的请求。

如图3B所示，第二界面320例如可以包括与中控显示设备250-1的车载界面260-1对应的窗口312，以通过更大的显示区域来呈现车载界面260-1对应的图像。

在一些实施例中，窗口312中的图像可以基于从车机设备240接收的图像信息来实时地更新。在一些实施例中，窗口312中图像被刷新的频率例如可以高于车载信息显示区域302中图像被刷新的频率。在一些实施例中，如图3B所示，当中控显示设备250-1对应的图像通过窗口312被呈现时，其对应的信息可以从车载信息显示区域302中被隐藏。

在一些实施例中，终端设备210还可以根据用户的操作来调整窗口312的显示尺寸。例如，当用户例如点击最大化窗口312的按钮时，终端设备210例如可以使得该窗口312被全屏显示。在一些实施例中，当用户例如点击最小化窗口312的按钮时，终端设备21例如可以关闭该窗口312，并重新如图3A所示在车载信息显示区域302中来显示车载界面所对应的图像。

在一些实施例中，如下文将详细介绍的，用户还可以通过操作窗口312内的界面元素来实现对于对应的车载界面250-1的实时控制。

如图3C所示，终端设备210例如还可以呈现界面220(也称为第三界面)。例如，终端设备210例如可以响应于用户对于车载信息显示区域302中“中控显示设备”和“副驾驶显示设备”的查看请求，而呈现第三界面220。

如图3C所示，第三界面220可以包括与中控显示设备250-1对应的第一窗口230-2，和与副驾驶显示设备250-2对应的第二窗口230-2。在一些实施例中，第三界面220例如还可以包括与窗口230-1和窗口230-2对应的窗口标识332-1和332-2(单独或统一称为窗口标识332)。该窗口标识例如可以用于指示与相应窗口对应的车载显示设备。

例如，第一窗口230-1的窗口标识为“CAR DESKTOP 1”，其例如可以用于指示第一窗口230-1所呈现的图像对应于中控显示设备250-1的车载界面260-1。第二窗口230-2的窗口标识为“CAR DESKTOP 2”，其例如可以用于指示第二窗口230-2所呈现的图像对应于副驾驶显示设备250-2的车载界面260-2。

在一些实施例中，如图3C所示，第一窗口230-1中例如可以包括与车载界面260-1中的控件所对应的界面元素，例如界面元素334-1和界面元素334-2(单独或统一称为界面元素)。在一些实施例中，终端设备210可以接收针对界面元素334的交互操作，并相应地生成交互信息以使得用户能够感觉如同直接在操作对应的车载显示设备。关于交互场景和交互实现的细节将在下文详细描述。

在一些实施例中，如图3C所示，界面220还可以包括与终端设备210的本地应用相关联的界面元素。例如，界面220可以包括与“相机应用”相关联的界面元素336、与“电话应用”相关联的界面元素338等。

在一些实施例中，终端设备210也可以接收针对界面元素336或界面元素338的交互操作，并可以利用与车机设备240相关联的输入输出(I/O)设备来完成相应的交互。关于利用车载I/O设备来完成终端设备210的本地交互的过程将在下文详细描述。

能够看到，通过在终端设备处提供与车载显示设备的车载界面有关的图像，本公开的实施例能够提高车载显示设备管理的便捷性。

示例交互场景1

以下将参考图4A至图4C来描述利用终端设备210来实现针对车载终端显示设备250的车载界面260的远程交互的示例。

在一些实施例中，用户例如可以通过终端设备210中呈现的窗口来实现针对车辆的控制。如图4A所示，第一窗口230-1中例如可以包括用于控制车辆组件的界面元素。例如，界面元素410例如可以对应于车载界面260-1中用于控制驾驶员区域的空调温度的控件。

在一些实施例中，终端设备210可以接收用户对于界面元素410的点击操作，并生成与该点击操作对应的交互信息。具体地，终端设备210例如可以确定与该点击操作对应的点击位置。例如，该点击位置可以指示在终端设备210的界面220中的第一坐标。

在一些实施例中，终端设备210可以进一步基于该第一坐标来确定该点击操作发生在第一窗口230-1的窗口显示区域内。进一步地，终端设备210可以基于第一窗口230-1的窗口显示区域，而将第一坐标转换为与第一窗口230-1对应的坐标系中的第二坐标。由此，终端设备210可以将界面220中点击位置的坐标转换为在对应控件在车载界面260-1中的实际坐标。

进一步地，终端设备210可以基于第二坐标来生成交互信息，以指示对车载界面260-1中的对应坐标执行了点击操作。在一些实施例中，交互信息还可以包括用于指示与第一目标窗口230-1对应的中控车载显示设备250-1的设备信息。相应地，该终端设备210可以经由与车机设备240的连接，而将该交互信息发送至车机设备240。

在一些实施例中，在接收到交互信息后，车机设备240可以对交互信息进行解析，以执行与交互信息对应的操作。具体地，车机设备240可以首先基于交互信息中的设备信息，确定该交互信息对应于中控显示设备250-1。进一步地，车机设备240还可以基于所确定的中控显示设备250-1和由交互信息中的位置信息来确定与交互信息对应的交互动作。

示例性地，车机设备240可以基于所接收的交互信息确定所对应的交互动作是对中控显示设备250-1的车载界面260-1中的特定坐标处执行了点击操作。相应地，车机设备240对该点击操作执行响应动作，如同该点击操作真实发生在中控显示设备250-1处。

在图4A的示例中，车机设备240可以基于该交互信息来向与车机设备240连接的车辆组件(例如，空调组件)发送对应的控制指令，以响应于该交互操作来调整驾驶员区域空调的温度。

附加地，由于该响应动作的执行，车机设备240例如可以更新车载界面260-1，并通过与终端设备250-1之间的连接，以将与更新车载界面260-1对应的更新图像发送至终端设备210。相应地，终端设备210可以相应地基于更新图像来更新第一窗口230-1中的显示。例如，更新图像可以显示驾驶员区域空调温度从“26°”被调整至“25°”。

基于以上的方式，本公开的实施例能够允许用户通过终端设备来实现针对车辆的快捷操控。这样的操控方式如同真实地操作对应的车载显示设备，而没有改变用户的使用习惯。

应当理解，以上所描述的点击操作仅是交互操作的一种示例。基于对应车载显示设备的交互能力，终端设备可以允许用户执行任何适当的交互操作，其示例可以包括但不限于：基于触摸屏的点击、长按、拖拽或滑动等；适当的体感交互方式(例如，眼动交互)；基于其他输入设备(例如，键盘、鼠标等)的交互。由终端设备210所生成的交互信息的格式例如可以类似于在车载显示设备发生交互所产生的交互信息的格式。

此外，应当理解，图4A中描述的控制空调组件的功能仅是示例性的，本公开的实施例还能够允许基于终端设备中提供的窗口来快捷地控制其他车辆组件，例如灯光、雨刷或天窗等。

示例交互场景2

在一些实施例中，用户例如可以通过终端设备210中呈现的窗口来实现便捷的界面交互。如图4B所示，第一窗口230-1中例如可以包括用于信息显示的界面元素。例如，界面元素330例如可以对应于车载界面260-1中用于呈现特定联系人信息的控件。

在一些实施例中，终端设备210可以接收用户对于界面元素330的右滑操作，并生成与该滑动操作对应的交互信息。具体地，终端设备210例如可以确定与该滑动操作对应的一组屏幕位置。例如，该组屏幕位置可以指示在终端设备210的界面220中的第一组坐标。

在一些实施例中，终端设备210可以进一步基于该第一组坐标来确定该滑动操作发生在第一窗口230-1的窗口显示区域内。进一步地，终端设备210可以基于第一窗口230-1的窗口显示区域，而将第一组坐标转换为与第一窗口230-1对应的坐标系中的第二组坐标。由此，终端设备210可以将界面220中滑动位置的坐标转换为在对应控件在车载界面260-1中的实际坐标。

进一步地，终端设备210可以基于第二组坐标来生成交互信息，以指示对车载界面260-1中的对应坐标执行了点击操作。在一些实施例中，交互信息还可以包括用于指示与第一目标窗口230-1对应的中控车载显示设备250-1的设备信息。相应地，该终端设备210可以经由与车机设备240的连接，而将该交互信息发送至车机设备240。

在一些实施例中，在接收到交互信息后，车机设备240可以对交互信息进行解析，以执行与交互信息对应的操作。具体地，车机设备240可以首先基于交互信息中的设备信息，确定该交互信息对应于中控显示设备250-1。进一步地，车机设备240还可以基于所确定的中控显示设备250-1和由交互信息中的位置信息来确定与交互信息对应的交互动作。

示例性地，车机设备240可以基于所接收的交互信息确定所对应的交互动作是对中控显示设备250-1的车载界面260-1执行了与第二组坐标对应的右滑操作。相应地，车机设备240对该右滑操作执行响应动作，如同该右滑操作真实发生在中控显示设备250-1处。

在图4A的示例中，车机设备240可以基于该右滑操作来在车载界面260-1呈现与该联系人详情对应的显示区域。附加地，车机设备240例如可以更新车载界面260-1，并通过与终端设备250-1之间的连接，以将与更新车载界面260-1对应的更新图像发送至终端设备210。相应地，终端设备210可以相应地基于更新图像来更新第一窗口230-1中的显示。例如，第一窗口230-1可以包括新的显示区域420，以呈现所选择联系人的详细信息。

基于以上的方式，本公开的实施例能够允许用户通过终端设备来实现针对车载显示设备的快捷交互。这样的操控方式如同真实地操作对应的车载显示设备，而没有改变用户的使用习惯。

在一个示例场景中，位于副驾驶座的乘客例如可以通过与车机设备连接的终端设备(例如，智能手机)来快捷地操控后排显示设备的界面，以例如可以向后排位置的乘客提供特定的内容(例如，视频)。由此方式，可以提高驾驶过程的安全性。

在一些实施例中，当在利用终端设备远程控制车载显示设备时，人们可能还期望禁用对用车载显示设备的交互能力。例如，对于以上控制后排显示设备以播放特定内容的示例中，用户可能不期望后排就座的儿童对屏幕发生不期望的操作(例如，误触)。

在一些实施例中，终端设备210例如可以允许用户通过界面来禁用特定车载显示设备的屏幕交互功能。示例性地，用户例如可以通过长按第二窗口230-2的窗口栏，以发起禁用对应的副驾驶显示设备250-2的交互功能的请求。终端设备210例如可以在获得用户的确认后，向车机设备240发送禁用请求，以使得副驾驶显示设备250-2的屏幕交互功能被禁用。

在一些实施例中，禁用请求例如也可以是由终端设备210所自动发出的。例如，用户可以配置在终端设备连接到车机设备后，该组车载显示设备的交互模式。例如，交互模式例如可以包括：仅允许通过终端设备交互、仅允许通过车载显示设备交互、允许通过终端设备/车载显示设备两者进行交互等。在这样的配置被确定后，在每次相同用户的终端设备连入时，终端设备例如可以基于该配置信息来自动地发送禁用请求，以使得被配置为“仅允许通过终端设备交互”这一交互模式的车载显示设备的屏幕交互功能被禁用。

基于这样的方式，本公开的实施例能够进一步方便用户管理多个车载显示设备。

示例交互场景3

在一些实施例中，终端设备210还可以允许用户利用与车机设备240相关联的输入输出(I/O)设备来进行输入或输出。

示例性地，当终端设备210接收到对于“相机应用”的界面元素336的点击操作时，终端设备210例如可以呈现如4C所示的拍照界面400C。在一些实施例中，与传统的拍照界面不同，拍照界面400C例如可以包括相机选择控件430。当接收到针对相机选择控件430的选择时，拍照界面400C中可以呈现浮窗440，以使用户确认当前拍照所要使用的相机。

如下文将参考图5至图7详细介绍的，在终端设备210建立与车机设备240的连接后，与车机设备240相关联的车载资源可以被虚拟化为终端设备210的虚拟资源。这样的车载资源例如可以包括但不限于：车载显示设备250、各种类型的传感器、各种类型的I/O设备等。

如图4C所示，通过浮窗440，用户例如可以选择“车载相机(A Car)”作为拍照应用所要使用的相机设备。响应于对“车载相机(A Car)”的选择，终端设备210可以向车机设备240发送交互信息，以使得“车载相机(A Car)”被启用，以用于拍照应用。

相应地，车机设备240在接收到该交互信息后，可以占用该“车载相机(A Car)”硬件从而启用“车载相机(A Car)”以获取实时图像。进一步地，该实时图像可以进一步经由与终端设备210的连接而被发送回执终端设备210，以例如用于如图4C所示的拍照界面400C。

基于这样的方式，本公开的实施例能够允许终端设备进一步利用车载资源来执行更加丰富类型的交互。

应当理解，图4C中示例所描述的“相机”仅是示例性的，用户例如还可以通过点击如图3C所示的“电话应用”的界面元素338，以使用车载麦克风和扬声器来执行电话呼叫过程。

界面交互流程

以下将参考图5来描述实现本公开的界面交互方案的具体过程。图5示出了根据本公开实施例的示例界面交互过程500。过程500可能涉及终端设备和车机设备。终端设备例如可以包括图2中的终端设备210，车机设备例如可以包括图2中的车机设备240。应当理解，过程400也可以适用于其他任何适当的终端设备和车机设备。

如图5所示，在502，终端设备210建立与车机设备240的连接。在一些实施例中，终端设备210可以通过任何适当的连接方式来与车机设备240连接，其示例可以包括但不限于：诸如经由USB线缆的有线连接、诸如基于蓝牙、Wi-Fi、蜂窝网络的无线连接等。

在一些实施例中，终端设备210例如可以经由车联工具(例如，HiCar、CarPlay和CarLife等)来建立与车机设备240的连接。关于使用HiCar来建立连接的具体过程将结合图6和图7来详细描述。

在504，车机设备基于由一组车载显示设备250所呈现的一组车载界面260来生成图像信息。在一些实施例中，这样的图像信息例如可以包括该组车载界面260的对应图像。在一些实施例中，为了降低网络传输的开销，图像信息例如可以包括利用适当压缩算法所压缩过的一组图像。

在506，终端设备210从车机设备240接收图像信息。在508，终端设备210基于图像信息呈现目标界面220，该目标界面220包括与一组车载界面250对应的一组窗口230。

在一些实施例中，目标界面220例如可以同时呈现与多个车载界面250所对应的多个窗口。备选地或附加地，一组窗口230中的一个或多个窗口可以响应于用户操作而被隐藏或展开。

在510，终端设备210接收与一组窗口230相关联的交互操作而生成与该交互操作对应的交互信息。这样的交互操作可以包括利用任何交互工具的任何适当类型的界面操作，其示例可以包括但不限于：基于触摸屏的点击、长按、拖拽或滑动等；适当的体感交互方式(例如，眼动交互)；基于其他输入设备(例如，键盘、鼠标等)的交互。

在512，终端设备210向车机设备240发送所生成的交互信息。在514，车机设备240执行与该交互信息对应的动作。在一些实施例中，车机设备240可以响应于交互信息而向与车机设备连接的车辆组件发送对应的控制指令，其中控制指令基于交互信息而被生成。备选地，车机设备240可以使一组车载界面250中的至少一个车载界面响应于交互信息而被更新。

基于这样的方式，本公开的实施例能够通过终端设备来对车载显示设备的界面进行快捷的操控，从而能够提高交互的便捷性，并且保证驾驶过程中的交互安全性。

在一些实施例中，在514，车机设备240基于交互动作的执行而生成更新图像信息，其中更新图像信息对应于一组更新的车载界面，一组更新界面中的至少一个车载界面响应于交互动作而被更新。在516，车机设备240向终端设备210发送更新图像信息。在518，终端设备210基于更新图像信息来呈现更新界面。

能够基于以上的方式，本公开的实施例能够允许用户通过终端设备来实现针对车子啊显示设备的快捷操控。这样的操控方式如同真实地操作对应的车载显示设备，而没有改变用户的使用习惯。

系统实现

图6示出了根据本公开的实施例的用于界面交互的系统框架600的示意图。如图6所示，该系统框架可以基于车联工具HiCar而被实现。示例性地，终端设备210例如可以包括多个组件：硬件部分；用于保障数据连接的安全性的模块，例如HiChain，其例如可以提供HiCar场景鉴权能力；用于调度应用进程的模块，例如AMS(Activity Manager Service)模块；用于多屏管理的模块，例如多屏框架；用于多屏互动的模块，例如Airsharing；用于提供反向控制能力的模块，例如Hisight模块；用于提供车机虚拟化能力的模块，例如DMSDP(Distributed Multi-mode Sensing Data Platform，分布式多节点感知数据平台)；用于近距离车机互联的模块，例如NEARBY模块；上层应用，例如HiCar APK和iConnect APK，分别提供了HiCar和iConnect应用。

如图6所示，车机设备240可以包括多个组件：硬件部分；用于多屏管理的模块，例如多屏框架；用于多屏互动的模块，例如Airsharing；用提供反向控制能力的模块，例如Hisight；用于提供车机虚拟化能力的模块，例如DMSDP(Distributed Multi-mode SensingData Platform，分布式多节点感知数据平台)；用于近距离车机互联的模块，例如NEARBY模块；上层应用，例如厂家APK，其例如可以实现了用于互联的应用Car APK，其可以包括用于认证的模块，例如Authgent模块。进一步地，用于认证的模块可以包括用于保障数据连接的安全性的模块，例如HiChain。

以下将进一步参考图7来描述基于HiCar连接而实施的屏幕共享过程700。如图7所示，过程700可以包括设备发现阶段710。具体地，发现阶段包括：在702，用户可以在车机侧操作触发硬件之间的发现广播。例如，无线用户可以在车上操作以发出蓝牙广播，或者USB用户可以利用USB线缆将终端设备与车机设备有线连接。

在704，iConnect连接到硬件广播，并根据汽车ID判断是否是允许接入的汽车类型。在706，iConnect将发现的设备传递给HiCar APP。在708，由HiCar发起到车机设备的连接。

过程700还可以包括无线回连阶段720。具体地，在712，车机设备的硬件可以检测到与终端设备的配对。在714，车机设备可以通过Car SDK发起车机到终端设备的连接。

过程700还可以包括连接鉴权阶段730。具体地，在721，建立车机设备和终端设备之间的连接通道。例如，iCar APP接收到iConnect传递的车辆信息和当前连接信息，在终端设备处主动发起无线/有线连接。或者，在HiCar APP收到车机设备主动发出的连接请求，确定是可信设备后，终端设备可以接受连接请求。

在722和723，终端设备和车机设备执行连接鉴权。具体地，HiCar APP可以和CarSDK交换消息，传递必要的软件版本、车机能力等信息。HiCar APP可以调用HiChain接口开始认证，其中HiCar APP可以承担认证的流程编排并认证数据传输部分，而HiChain承担认证算法部分。在724和725，在鉴权通过后，可以相应地确定认证完成。

过程700还可以包括设备虚拟化阶段740。具体地，在731，建立终端设备和车机设备的连接。例如，认证成功后，HiCar APP通知DMSDP连接车机设备。

在732和733，执行设备虚拟化。具体地，DMSDP连接车机设备成功后，DMSDP可以获取车辆上的车在资源，并将车载资源虚拟成手机可使用的虚拟资源(例如，外设)，再将虚拟资源上报给HiCar APP。在734和735，可以使能DMSDP上报的虚拟设备。在736，基于设备虚拟化来建立数据传输通道。在737和738，DMSDP可以通知Airsharing/Hisight将虚拟设备添加到终端设备，并将车辆上的关键码与终端设备的关键码映射。

过程700还可以包括投屏阶段750。具体地，在732，Airsharing/Hisight可以通知多屏框架添加了HiCar业务的显示设备。在734，多屏框架通知车机设备侧Car SDK并传入终端设备多屏控制程序设备，车机设备的Car SDK开始投屏。

应当理解，以上基于HiCar的系统实现框架仅是示例性的，本公开的实施例还可以利用其他任何适当的连接、鉴权、通信方式来实现根据本公开实施例的界面交互方案。

示例过程

图8示出了根据本公开实施例的图形界面方法的示例过程800的流程图。过程800例如可以由终端设备(例如，参考图2所讨论的终端设备210)来实施。

如图8所示，在框810，终端设备210基于与车机设备的连接，从车机设备接收图像信息，车机设备与一组车载显示设备相关联，图像信息是车机设备基于由一组车载显示设备所呈现的一组车载界面而生成。

在框820，终端设备210基于图像信息呈现目标界面，目标界面包括与一组车载界面对应的一组窗口。

在框830，响应于接收到与一组窗口相关联的交互操作，终端设210向车机设备发送与交互操作对应的交互信息。

在一些实施例中，过程800还包括：建立与车机设备的连接，使得与车机设备相关联的车载资源被虚拟化为终端设备的虚拟资源，车载资源包括一组车载显示设备。

在一些实施例中，车载资源还包括与车载机备相关联的输入输出I/O设备，输出输入设备包括以下至少一项：相机、麦克风或扬声器。

在一些实施例中，过程800还包括：从车机设备接收更新图像信息，更新图像信息对应于一组更新的车载界面，一组更新的车载界面中的至少一个界面响应于交互信息而被更新；以及基于更新图像信息，呈现更新界面。

在一些实施例中，基于图像信息呈现目标界面包括：基于图像信息，生成与一组车载界面对应的一组图像；基于一组图像，生成与一组车载界面对应的一组窗口；以及呈现包括所生成的一组窗口的目标界面。

在一些实施例中，目标界面还包括与一组窗口对应的一组窗口标识，其中窗口标识用于指示与相应窗口对应的车载显示设备。

在一些实施例中，过程800还包括：接收与一组窗口相关联的交互操作；确定与交互操作所对应的位置信息，位置信息指示交互操作在终端设备上发生的位置；从一组窗口中确定与位置信息对应的目标窗口；以及基于位置信息和目标窗口在终端设备中的窗口显示区域，生成交互信息。

在一些实施例中，位置信息为第一位置信息，并且基于第一位置信息和目标窗口在终端设备中的窗口显示区域生成交互信息包括：基于窗口显示区域，将第一位置信息变换为第二位置信息，其中第一位置信息指示在与终端设备相关联的第一坐标系中的第一组坐标，第二位置信息指示与目标窗口对应的第二坐标系中的第二组坐标；以及基于第二位置信息，生成交互信息，交互信息还包括用于指示与目标窗口对应的目标车载显示设备的设备信息。

在一些实施例中，交互操作为第一交互操作，交互信息为第一交互信息，目标界面还包括与终端设备的本地应用相关联的界面元素，过程800还包括：接收与界面元素相关联的第二交互操作，第二交互操作指示对与车机设备相关联的目标I/O设备的使用；以及向车机设备发送与第二交互操作对应的第二交互信息，以使目标I/O设备被启动。

在一些实施例中，过程800还包括：向车机设备发送禁用请求，以使一组车载显示设备中的至少一个车载显示设备的屏幕交互功能被禁用。

在一些实施例中，一组车载显示设备包括以下至少一项：中控显示设备、副驾驶显示设备或后排显示设备。

图9示出了根据本公开实施例的图形界面方法的示例过程900的流程图。过程900例如可以由车机设备(例如，参考图2所讨论的车机设备240)来实施。

在910，车机设备240基于与终端设备的连接向终端设备发送图像信息，图像信息基于由一组车载显示设备所呈现的一组车载界面而生成。

在920，车机设备240从终端设备接收交互信息，交互信息是基于与终端设备的目标界面中的一组窗口相关联的交互操作而被生成，目标界面基于图像信息而被生成并且包括与一组车载界面对应的一组窗口。

在930，车机设备240执行与交互信息对应的交互动作。

在一些实施例中，过程900还包括：建立与终端的连接，使得与车机设备相关联的车载资源被虚拟化为终端设备的虚拟资源，车载资源包括一组车载显示设备。

在一些实施例中，车载资源还包括与车机设备相关联的输入输出I/O设备，输出输入设备包括以下至少一项：相机、麦克风或扬声器。

在一些实施例中，过程900还包括：基于交互动作的执行，生成更新图像信息，更新图像信息对应于一组更新的车载界面，一组更新界面中的至少一个车载界面响应于交互动作而被更新；以及向终端设备发送更新图像信息。

在一些实施例中，过程900还包括：基于交互信息中的设备信息，确定与交互信息对应的目标车载显示设备；以及基于目标车载显示设备和由交互信息中的位置信息，确定与交互信息对应的交互动作。

在一些实施例中，执行与交互信息对应的交互动作包括以下至少一项：向与车机设备连接的车辆组件发送对应的控制指令，控制指令基于交互信息而被生成；或者使一组车载界面中的至少一个车载界面响应于交互信息而被更新。

在一些实施例中，交互操作为第一交互操作，交互信息为第一交互信息，目标界面还包括与终端设备的本地应用相关联的界面元素，方法还包括：从终端设备接收第二交互信息，第二交互信息是基于与界面元素相关联的第二交互操作而被生成，第二交互操作指示对与车机设备相关联的目标I/O设备的使用；以及启用目标I/O设备，以供终端设备使用。

在一些实施例中，过程900还包括：响应于从终端设备接收的禁用请求，使一组车载显示设备中的至少一个车载显示设备的屏幕交互功能被禁用。

在一些实施例中，一组车载显示设备包括以下至少一项：中控显示设备、副驾驶显示设备或后排显示设备。

基于以上所讨论的过程，本公开的实施例能够通过终端设备来对车载显示设备的界面进行快捷的操控，从而能够提高交互的便捷性，并且保证驾驶过程中的交互安全性。

本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (24)

1.一种界面交互方法，用于终端设备，其特征在于，所述方法包括：

所述终端设备基于与车机设备的连接，从所述车机设备接收图像信息，所述车机设备与一组车载显示设备相关联，所述图像信息是所述车机设备基于由所述一组车载显示设备所呈现的一组车载界面而生成；

所述终端设备基于所述图像信息呈现目标界面，所述目标界面包括与所述一组车载界面对应的一组窗口；以及

响应于接收到与所述一组窗口相关联的交互操作，所述终端设备向所述车机设备发送与所述交互操作对应的交互信息。

2.根据权利要求1所述的方法，还包括：

从所述车机设备接收更新图像信息，所述更新图像信息对应于一组更新的车载界面，所述一组更新的车载界面中的至少一个界面响应于所述交互信息而被更新；以及

基于所述更新图像信息，呈现更新界面。

3.根据权利要求1所述的方法，其中基于所述图像信息呈现所述目标界面包括：

基于所述图像信息，生成与所述一组车载界面对应的一组图像；

基于所述一组图像，生成与所述一组车载界面对应的一组窗口；以及

呈现包括所生成的所述一组窗口的所述目标界面。

4.根据权利要求1所述的方法，其中所述目标界面还包括与所述一组窗口对应的一组窗口标识，其中窗口标识用于指示与相应窗口对应的车载显示设备。

5.根据权利要求1所述的方法，还包括：

接收与所述一组窗口相关联的所述交互操作；

确定与所述交互操作所对应的位置信息，所述位置信息指示所述交互操作在所述终端设备上发生的位置；

从所述一组窗口中确定与所述位置信息对应的目标窗口；以及

基于所述位置信息和所述目标窗口在所述终端设备中的窗口显示区域，生成所述交互信息。

6.根据权利要求5所述的方法，其中所述位置信息为第一位置信息，并且基于所述第一位置信息和所述目标窗口在所述终端设备中的窗口显示区域生成所述交互信息包括：

基于所述窗口显示区域，将所述第一位置信息变换为第二位置信息，其中所述第一位置信息指示在与所述终端设备相关联的第一坐标系中的第一组坐标，所述第二位置信息指示与所述目标窗口对应的第二坐标系中的第二组坐标；以及

基于所述第二位置信息，生成所述交互信息，所述交互信息还包括用于指示与所述目标窗口对应的目标车载显示设备的设备信息。

7.根据权利要求1所述的方法，其中所述交互操作为第一交互操作，所述交互信息为第一交互信息，所述目标界面还包括与所述终端设备的本地应用相关联的界面元素，所述方法还包括：

接收与所述界面元素相关联的第二交互操作，所述第二交互操作指示对与所述车机设备相关联的目标输入输出I/O设备的使用；以及

向所述车机设备发送与所述第二交互操作对应的第二交互信息，以使所述目标I/O设备被启动。

8.根据权利要求1所述的方法，还包括：

向所述车机设备发送禁用请求，以使所述一组车载显示设备中的至少一个车载显示设备的屏幕交互功能被禁用。

9.根据权利要求1所述的方法，还包括：

建立与所述车机设备的所述连接，使得与所述车机设备相关联的车载资源被虚拟化为所述终端设备的虚拟资源，所述车载资源包括所述一组车载显示设备。

10.根据权利要求9所述的方法，其中所述车载资源还包括与所述车机设备相关联的I/O设备，所述I/O设备包括以下至少一项：相机、麦克风或扬声器。

11.根据权利要求1所述的方法，其中所述一组车载显示设备包括以下至少一项：中控显示设备、副驾驶显示设备或后排显示设备。

12.一种界面交互方法，用于车机设备，所述车机设备与一组车载显示设备相关联，其特征在于，所述方法包括：

所述车机设备基于与终端设备的连接向所述终端设备发送图像信息，所述图像信息基于由所述一组车载显示设备所呈现的一组车载界面而生成；

所述车机设备从所述终端设备接收交互信息，所述交互信息是基于与所述终端设备的目标界面中的一组窗口相关联的交互操作而被生成，所述目标界面基于所述图像信息而被生成并且包括与所述一组车载界面对应的所述一组窗口；以及

所述车机设备执行与所述交互信息对应的交互动作。

13.根据权利要求12所述的方法，还包括：

基于所述交互动作的执行，生成更新图像信息，所述更新图像信息对应于一组更新的车载界面，所述一组更新界面中的至少一个车载界面响应于所述交互动作而被更新；以及

向所述终端设备发送所述更新图像信息。

14.根据权利要求12所述的方法，还包括：

基于所述交互信息中的设备信息，确定与所述交互信息对应的目标车载显示设备；以及

基于所述目标车载显示设备和由所述交互信息中的位置信息，确定与所述交互信息对应的所述交互动作。

15.根据权利要求12所述的方法，其中执行与所述交互信息对应的交互动作包括以下至少一项：

向与所述车机设备连接的车辆组件发送对应的控制指令，所述控制指令基于所述交互信息而被生成；或者

使所述一组车载界面中的至少一个车载界面响应于所述交互信息而被更新。

16.根据权利要求12所述的方法，其中所述交互操作为第一交互操作，所述交互信息为第一交互信息，所述目标界面还包括与所述终端设备的本地应用相关联的界面元素，所述方法还包括：

从所述终端设备接收第二交互信息，所述第二交互信息是基于与所述界面元素相关联的第二交互操作而被生成，所述第二交互操作指示对与所述车机设备相关联的目标输入输出I/O设备的使用；以及

启用所述目标I/O设备，以供所述终端设备使用。

17.根据权利要求12所述的方法，还包括：

响应于从所述终端设备接收的禁用请求，使所述一组车载显示设备中的至少一个车载显示设备的屏幕交互功能被禁用。

18.根据权利要求12所述的方法，还包括：

建立与所述终端的所述连接，使得与所述车机设备相关联的车载资源被虚拟化为所述终端设备的虚拟资源，所述车载资源包括所述一组车载显示设备。

19.根据权利要求18所述的方法，其中所述车载资源还包括与所述车机设备相关联的I/O设备，所述I/O设备包括以下至少一项：相机、麦克风或扬声器。

20.根据权利要求12所述的方法，其中所述一组车载显示设备包括以下至少一项：中控显示设备、副驾驶显示设备或后排显示设备。

21.一种终端设备，包括：处理器、以及存储有指令的存储器，所述指令在被所述处理器执行时使得所述终端设备执行根据权利要求1至11中任一项所述的方法。

22.一种车机设备，包括：处理器、以及存储有指令的存储器，所述指令在被所述处理器执行时使得所述车机设备执行根据权利要求12至20中任一项所述的方法。

23.一种计算机可读存储介质，所述计算机可读存储介质存储有指令，所述指令在被电子设备执行时使得所述电子设备执行根据权利要求1至20中任一项所述的方法。

24.一种计算机程序产品，所述计算机程序产品包括指令，所述指令在被电子设备执行时使得所述电子设备执行根据权利要求1至20中任一项所述的方法。

Images