CN118276806A - 一种多屏交互方法、多屏控制方法及设备 - Google Patents

Abstract

本发明提供了一种多屏交互方法、多屏控制方法及设备，涉及车机交互技术领域，所述多屏交互方法应用于车机端，包括：与控制端建立第一通信连接；基于所述第一通信连接建立双向通信链路获取来自所述控制端的服务器命令，其中，所述服务器命令包括编号字段；解析所述服务器命令，根据所述编号字段对应的目标屏幕产生视频流；通过所述双向通信链路发送所述视频流至所述控制端，并响应来自所述控制端的操作信号，保证便捷地控制车内的多个显示屏。

Description

一种多屏交互方法、多屏控制方法及设备

技术领域

本发明涉及车机交互技术领域，具体而言，涉及一种多屏交互方法、多屏控制方法及设备。

背景技术

随着车辆的智能化技术的发展，车载大屏渗透率逐年攀升，越来越多的车辆搭载多个显示屏，例如，围绕智能座舱的仪表盘显示屏、车机显示屏、副驾驶显示屏和设置于其他座位周围的用于娱乐的显示屏等。随着显示屏数量的增加，控制显示屏的方式也随之越来越复杂，例如，当使用者想要控制中控屏时，需要按动对应按键控制，在控制具有触摸功能的显示屏时，也可以通过触摸控制该显示屏。

然而，当显示屏数量较多，且分布于车内各个位置时，控制显示屏的方式较繁琐，使用者也不便控制距离较远的显示屏，导致驾乘体验差。

发明内容

本发明解决的问题是如何便捷地控制车内的多个显示屏。

为解决上述问题，第一方面，本发明提供一种多屏交互方法，应用于车机端，包括：

与控制端建立第一通信连接；

基于所述第一通信连接建立双向通信链路，获取来自所述控制端的服务器命令，其中，所述服务器命令包括编号字段；

根据所述编号字段对应的目标屏幕产生视频流；

通过所述双向通信链路发送所述视频流至所述控制端，并响应来自所述控制端的操作信号。

相对于现有技术，本发明通过将车机端和控制端建立第一通信连接，使车机端和控制端具备文件传输能力，通过第一通信连接建立双向通信链路，使车机端和控制端可以进行交互控制，通过双向通信链路保证车机端和控制端之间形成全双工通信，减少双方的交互延迟，通过具有编号字段的服务器命令产生目标屏幕的视频流，可以在控制端与车机端连接后，根据需要传输对应的目标屏幕的镜像视频，从而实现一个控制端与车机端的多个屏幕显示的内容进行交互，在同一通信链路下，实现一次连接即可对车机端中的多个屏幕进行交互，提升控制便捷性，便于用户通过例如移动终端对车内的多个显示屏进行控制。

可选地，所述基于所述第一通信连接建立双向通信链路，获取来自所述控制端的服务器命令包括：

基于双向通信协议，通过所述第一通信连接建立socket连接，作为所述双向通信链路；

通过所述双向通信链路接收所述服务器命令。

可选地，所述基于所述第一通信连接建立双向通信链路获取来自所述控制端的服务器命令还包括：

通过所述第一通信连接和所述双向通信链路接收并保存来自所述控制端的服务器文件。

可选地，所述根据所述编号字段对应的目标屏幕产生视频流包括：

响应于所述服务器命令，启动所述服务器文件，运行服务程序；

解析所述服务器命令，通过所述服务程序录制所述编号字段对应的所述目标屏幕，形成所述视频流。

可选地，在所述通过所述双向通信链路发送所述视频流至所述控制端，并响应来自所述控制端的操作信号之后，还包括：

响应于所述操作信号，解析所述操作信号的触摸事件信号和触摸坐标信号；

模拟所述触摸事件信号和所述触摸坐标信号，获得输入事件；

根据所述输入事件控制所述目标屏幕。

第二方面，本发明还提供一种多屏控制方法，应用于控制端，包括：

与车机端建立第一通信连接；

基于所述第一通信连接建立双向通信链路，通过所述双向通信链路发送服务器命令至所述车机端，其中，所述服务器命令包括编号字段；

响应于来自所述车机端的视频流，基于所述视频流控制目标屏幕，其中，所述视频流由所述车机端根据所述编号字段对应的所述目标屏幕产生。

可选地，所述基于所述第一通信连接建立双向通信链路，通过所述双向通信链路发送服务器命令至所述车机端包括：

基于双向通信协议，通过所述第一通信连接建立socket连接，作为所述双向通信链路；

通过所述第一通信连接和所述双向通信链路向所述车机端发送服务器文件。

可选地，所述基于所述第一通信连接建立双向通信链路，通过所述双向通信链路发送服务器命令至所述车机端包括：

确定目标屏幕；

通过所述双向通信链路向所述车机端发送所述服务器命令，其中，所述服务器命令包括与所述目标屏幕对应的所述编号字段。

可选地，所述响应于来自所述车机端的视频流，基于所述视频流控制目标屏幕包括：

截获来自用户的触摸动作，所述触摸动作包括触摸事件类型和触摸坐标点；

将所述触摸动作映射为操作信号，其中，将所述触摸事件类型和所述触摸坐标点分别映射为触摸事件信号和触摸坐标信号；

将所述操作信号通过所述双向通信链路发送至所述车机端。

第三方面，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器用于存储计算机程序，当所述处理器用于当执行所述计算机程序时，实现如上所述的多屏交互方法，或者实现如上所述的多屏控制方法。

所述车辆相对于现有技术所具有的有益效果与所述多屏交互方法相同，在此不再赘述。

附图说明

图1为本发明实施例的多屏交互方法的流程示意图；

图2为本发明实施例的多屏交互方法步骤S200细化后的流程示意图；

图3为本发明实施例的多屏交互方法步骤S400后的流程示意图；

图4为本发明实施例的多屏控制方法的流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。

应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”；术语“可选地”表示“可选的实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本发明中提及的“第一”“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本发明中提及的“一个”“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

如图1所示，本发明一实施例提供的一种多屏交互方法，应用于车机端，包括：

步骤S100，与控制端建立第一通信连接。

通过将车机端和控制端建立通信连接，从而实现车机端和控制端之间的信息交互，在使用者手持控制端时，即可对车机端的屏幕进行控制。

在一实施例中，将车机端和控制端建立第一通信连接，在第一通信连接中完成车机端和控制端之间交互环境的建立。

可选地，第一通信连接包括通过WiFi连接。

在一实施例中，在座舱环境下，通过WiFi局域网，将控制端和车机端连接，在本实施例中，控制端为使用者的移动终端，例如手机、平板等移动设备，车机端为座舱环境下的车载屏幕及相应设备，其中，不同车载屏幕可以通过一个控制设备和通信设备处于同一局域网络下，也可以通过多个控制设备和通信设备进行局域网连接，处于同一局域网络下。通过WiFi局域网，实现控制端和车机端之间的互联互通，无需网络流量，也没有弱网断联的风险。

步骤S200，基于所述第一通信连接建立双向通信链路，获取来自所述控制端的服务器命令，其中，所述服务器命令包括编号字段。

具体地，通过第一通信连接连接车机端和控制端后，使车机端和控制端具备信息传递能力，通过第一通信连接从控制端向车机端发送所要建立的交互环境的基础文件，从而建立双向通信链路，保证控制端对车机端进行控制时，可以通过双向通信链路传递控制指令，从而控制车机端，通过双向控制链路进行交互通信，使车机端和控制端之间的通信速度更快，实现实时控制。另外，通过包括编号字段的服务器命令，保证在控制端控制对应的显示屏时，通过一个控制端即可控制多个车机屏幕，使车机控制更便捷。

步骤S300，根据所述编号字段对应的目标屏幕产生视频流。

具体地，在获得来自控制端的服务器命令后，对服务器命令进行解析，获得控制端的控制信息，并根据服务器命令中的编号字段录制对应的显示屏，即目标屏幕，产生目标屏幕的视频流。

步骤S400，通过所述双向通信链路发送所述视频流至所述控制端，并响应来自所述控制端的操作信号。

在一实施例中，对来自控制端的服务器命令进行解析，可根据编号字段录制目标屏幕的视频流，还可包括音频流，并对其进行编码，将编码文件通过双向通信链路发送至控制端，将视频流和音频流播放在控制端中，以播放目标屏幕的视频和音频。

可选地，如图2所示，所述基于所述第一通信连接建立双向通信链路，获取来自所述控制端的服务器命令包括：

步骤S210，基于双向通信协议，通过所述第一通信连接建立socket连接，作为所述双向通信链路。

步骤S220，通过所述双向通信链路接收所述服务器命令。

在一实施例中，当车机端的操作系统为安卓系统时，打开安卓系统中的调试工具，即安卓调试桥(Android Debug Bridge，ADB)通过安卓调试桥将控制端直接连接至安卓设备(车机端)，实现车机端与控制端的通信，并用于执行各种设备操作。基于可实现全双工通信的双向通信协议，通过第一通信连接建立socket连接，将websocket作为双向通信链路，实现车机端和控制端之间的全双工通信，进而通过双向通信链路接收服务器命令。

可选地，所述基于所述第一通信连接建立双向通信链路获取来自所述控制端的服务器命令还包括：

通过所述第一通信连接和所述双向通信链路接收并保存来自所述控制端的服务器文件。

在一实施例中，车机端通过WiFi局域网和socket接口接收来自控制端的服务器文件，即server程序文件，车机端接收server程序文件后，将文件保存在车机端。

可选地，所述根据所述编号字段对应的目标屏幕产生视频流包括：

响应于所述服务器命令，启动所述服务器文件，运行服务程序。

解析所述服务器命令，通过所述服务程序录制所述编号字段对应的所述目标屏幕，形成所述视频流。

在一实施例中，当车机端接收到服务器命令时，启动服务器文件，即server程序文件，运行服务程序，通过服务程序实现车机端和控制端的交互。在启动服务程序后，解析服务器命令，根据服务器命令中的编号字段录制对应的目标屏幕，将目标屏幕进行编码形成视频流。

可选地，如图3所示，在所述通过所述双向通信链路发送所述视频流至所述控制端，并响应来自所述控制端的操作信号之后，还包括：

步骤S410，响应于所述操作信号，解析所述操作信号的触摸事件信号和触摸坐标信号。

步骤S420，模拟所述触摸事件信号和所述触摸坐标信号，获得输入事件。

步骤S430，根据所述输入事件控制所述目标屏幕。

在一实施例中，形成视频流并将视频流发送至控制端后，等待来自控制端的操作信号，当接收到操作信号时，解析操作端的操作信号，获得触摸事件信号和触摸坐标信号。其中，触摸事件信号包括触摸点数量、触摸类型、触摸频率等事件信号；触摸坐标信号包括截取到的触摸点在控制端中的坐标信号，通过触摸事件信号和触摸坐标信号量化使用者在控制端对相应显示屏的操作动作，从而根据操作动作在车机端的对应显示屏上模拟该操作动作。将触摸事件信号和触摸坐标信号在显示屏上模拟，作为系统标准input事件，即输入事件，将输入事件发送至控制设备，通过页面view响应该输入事件，完成控制端对车机端的隔空控制。

在另一实施例中，车机端与控制端进行多线程交互，具体地，通过第一线程录制目标屏幕，编码后形成视频流，通过双向通信链路发送至控制端；通过第二线程接收和解析来自控制端的操作信号；通过第三线程向控制端发送车机端的设备信息，以使控制端监控车机端的实时状态。

另一方面，如图4所示，本发明一实施例提供一种多屏控制方法，应用于控制端，包括：

步骤S500，与车机端建立第一通信连接。

步骤S600，基于所述第一通信连接建立双向通信链路，通过所述双向通信链路发送服务器命令至所述车机端，其中，所述服务器命令包括编号字段。

通过将车机端和控制端建立通信链路，从而实现车机端和控制端之间的信息交互，在使用者手持控制器时，即可对车机端的屏幕进行控制。

可选地，第一通信连接包括通过WiFi连接。

在一实施例中，在车机端的操作系统为安卓系统时，在车机端打开安卓调试桥后，基于第一通信连接建立双向通信链路，通过双向通信链路发送服务器命令至车机端，以获得目标屏幕的视频流。

步骤S700，响应于来自所述车机端的视频流，基于所述视频流控制目标屏幕，其中，所述视频流由所述车机端根据所述编号字段对应的所述目标屏幕产生。

在一实施例中，在发送服务器命令后，接收来自车机端的视频流，并在控制端显示该视频流，对视频流中的可互动的区域进行控制，即可通过视频流控制目标屏幕的对应的可互动的区域。从而基于视频流控制目标屏幕。

可选地，所述基于所述第一通信连接建立双向通信链路，通过所述双向通信链路发送服务器命令至所述车机端包括：

基于双向通信协议，通过所述第一通信连接建立socket连接，作为所述双向通信链路。

通过所述第一通信连接和所述双向通信链路向所述车机端发送服务器文件。

在一实施例中，通过第一通信连接和双向通信协议向车机端发送服务器文件，即server程序文件，通过双向通信协议和server启动后的服务程序构建远程控制环境。

可选地，所述基于所述第一通信连接建立双向通信链路，通过所述双向通信链路发送服务器命令至所述车机端包括：

确定目标屏幕。

通过所述双向通信链路向所述车机端发送所述服务器命令，其中，所述服务器命令包括与所述目标屏幕对应的所述编号字段。

在一实施例中，当车机端具有多个屏幕时，先确定所要控制的屏幕，将其作为目标屏幕，并通过双向通信链路向车机端发送包含目标屏幕对应的编号字段的服务器命令，以获取目标屏幕的视频流。

在另一实施例中，通过双向通信链路向车机端发送服务器命令，通过车机端录制所有屏幕的视频流，通过双向通信链路发送至控制端，控制端接收所有屏幕的视频流，并显示所要控制的目标屏幕。

可选地，所述响应于来自所述车机端的视频流，基于所述视频流控制目标屏幕包括：

截获来自用户的触摸动作，所述触摸动作包括触摸事件类型和触摸坐标点。

将所述触摸动作映射为操作信号，其中，将所述触摸事件类型和所述触摸坐标点分别映射为触摸事件信号和触摸坐标信号。

将所述操作信号通过所述双向通信链路发送至所述车机端。

在一实施例中，在控制端接收并显示视频流后，使用者可以在控制端对视频流进行操作，例如，使用者点击视频流中的链接，在使用者对控制端的屏幕进行操作时，截取使用者的触摸动作，将触摸动作映射为操作信号，将操作信号发送至车机端，车机端系统在对应的位置形成页面view响应，生成标准输入事件，并进行触摸响应，从而触发车机端的链接，完成控制端对车机端的响应。在使用者对视频流中可互动的页面进行交互时，截取使用者的触摸事件类型和触摸坐标点，将映射后的操作信号发送至车机端，通过车机系统将操作信号模拟，形成标准输入事件，从而通过页面view响应该触摸信号，在车机端中完成对车机的控制。

本发明又一实施例提供一种计算机设备，包括存储器和处理器，所述存储器用于存储计算机程序，当所述处理器用于当执行所述计算机程序时，实现如上所述的多屏交互方法，或者实现如上所述的多屏控制方法。

其中，计算机设备可以是多屏交互方法的车机端或车辆，也可以是实现多屏控制方法的控制端或移动终端。

本发明又一实施例提供的一种计算机可读存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的多屏交互方法，或者实现如上所述的多屏控制互方法。

现将描述可以作为本发明的服务器或客户端的电子设备，其是可以应用于本发明的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机和其他适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其他类似的计算装置。本文所示的部件、它们的连接和关系，以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

电子设备包括计算单元，其可以根据存储在只读存储器(ROM)中的计算机程序或者从存储单元加载到随机访问存储器(RAM)中的计算机程序，来执行各种适当的动作和处理。在RAM中，还可存储设备操作所需的各种程序和数据。计算单元、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端－服务器关系的计算机程序来产生客户端和服务器的关系。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。在本申请中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

虽然本发明披露如上，但本发明的保护范围并非仅限于此。本领域技术人员在不脱离本发明的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种多屏交互方法，其特征在于，应用于车机端，包括：

与控制端建立第一通信连接；

基于所述第一通信连接建立双向通信链路，获取来自所述控制端的服务器命令，其中，所述服务器命令包括编号字段；

根据所述编号字段对应的目标屏幕产生视频流；

通过所述双向通信链路发送所述视频流至所述控制端，并响应来自所述控制端的操作信号。

2.根据权利要求1所述的多屏交互方法，其特征在于，所述基于所述第一通信连接建立双向通信链路，获取来自所述控制端的服务器命令包括：

基于双向通信协议，通过所述第一通信连接建立socket连接，作为所述双向通信链路；

通过所述双向通信链路接收所述服务器命令。

3.根据权利要求2所述的多屏交互方法，其特征在于，所述基于所述第一通信连接建立双向通信链路获取来自所述控制端的服务器命令还包括：

通过所述第一通信连接和所述双向通信链路接收并保存来自所述控制端的服务器文件。

4.根据权利要求3所述的多屏交互方法，其特征在于，所述根据所述编号字段对应的目标屏幕产生视频流包括：

响应于所述服务器命令，启动所述服务器文件，运行服务程序；

解析所述服务器命令，通过所述服务程序录制所述编号字段对应的所述目标屏幕，形成所述视频流。

5.根据权利要求1所述的多屏交互方法，其特征在于，在所述通过所述双向通信链路发送所述视频流至所述控制端，并响应来自所述控制端的操作信号之后，还包括：

响应于所述操作信号，解析所述操作信号的触摸事件信号和触摸坐标信号；

模拟所述触摸事件信号和所述触摸坐标信号，获得输入事件；

根据所述输入事件控制所述目标屏幕。

6.一种多屏控制方法，其特征在于，应用于控制端，包括：

与车机端建立第一通信连接；

基于所述第一通信连接建立双向通信链路，通过所述双向通信链路发送服务器命令至所述车机端，其中，所述服务器命令包括编号字段；

响应于来自所述车机端的视频流，基于所述视频流控制目标屏幕，其中，所述视频流由所述车机端根据所述编号字段对应的所述目标屏幕产生。

7.根据权利要求6所述的多屏控制方法，其特征在于，所述基于所述第一通信连接建立双向通信链路，通过所述双向通信链路发送服务器命令至所述车机端包括：

基于双向通信协议，通过所述第一通信连接建立socket连接，作为所述双向通信链路；

通过所述第一通信连接和所述双向通信链路向所述车机端发送服务器文件。

8.根据权利要求6所述的多屏控制方法，其特征在于，所述基于所述第一通信连接建立双向通信链路，通过所述双向通信链路发送服务器命令至所述车机端包括：

确定所述目标屏幕；

通过所述双向通信链路向所述车机端发送所述服务器命令，其中，所述服务器命令包括与所述目标屏幕对应的所述编号字段。

9.根据权利要求6所述的多屏控制方法，其特征在于，所述响应于来自所述车机端的视频流，基于所述视频流控制目标屏幕包括：

截获来自用户的触摸动作，所述触摸动作包括触摸事件类型和触摸坐标点；

将所述触摸动作映射为操作信号，其中，将所述触摸事件类型和所述触摸坐标点分别映射为触摸事件信号和触摸坐标信号；

将所述操作信号通过所述双向通信链路发送至所述车机端。

10.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，当所述处理器用于当执行所述计算机程序时，实现如权利要求1-5任意一项所述的多屏交互方法，或者实现如权利要求6-9任意一项所述的多屏控制方法。