CN115607955A - 车机系统、用于实现扩展显示的方法和存储介质 - Google Patents

Abstract

本发明涉及车机系统领域，并且更具体地涉及一种车机系统、用于实现扩展显示的方法和计算机存储介质。该车机系统包括：通信模块，通信模块配置成与移动终端建立通信连接并从移动终端接收原始控制数据，其中原始控制数据包括由移动终端的传感器采集的传感器数据；适配模块，适配模块配置成将原始控制数据转化成针对扩展显示设备的姿态控制数据；以及路由模块，路由模块配置成将姿态控制数据分发至一个或多个扩展显示设备中的相应的扩展显示设备，以供相应的扩展显示设备更新显示画面。

Description

车机系统、用于实现扩展显示的方法和存储介质

技术领域

本发明涉及车机系统领域，并且更具体地涉及一种车机系统、用于实现扩展显示的方法和计算机存储介质。

背景技术

扩展现实（Extended Reality，XR）设备可用于向用户提供改变的现实，其指代虚拟现实（Virtual Reality，VR）设备、增强现实（Augmented Reality，AR）设备和混合现实（Mixed Reality，MR）设备的统称。目前，扩展现实设备普遍利用XR专用手柄作为与扩展现实设备进行人机交互的手持控制装置。然而，现有技术中的XR专用手柄多为一对一控制器，其不能够同时控制多台扩展现实设备。此外，在多台扩展现实设备同时工作的场景中，由于需要多个手柄控制器射线的同时控制，必然会造成信号的延迟。

发明内容

为了解决或至少缓解以上问题中的一个或多个，提供了以下技术方案。本申请的实施例提供了一种车机系统、用于实现扩展显示的方法和计算机存储介质，从而能够实现利用一个外部移动终端同时控制多台车载扩展现实设备的效果。

按照本发明的第一方面，提供一种车机系统，所述系统包括：通信模块，所述通信模块配置成与移动终端建立通信连接并从所述移动终端接收原始控制数据，其中所述原始控制数据包括由所述移动终端的传感器采集的传感器数据；适配模块，所述适配模块配置成将所述原始控制数据转换成针对扩展显示设备的姿态控制数据；以及路由模块，所述路由模块配置成将所述姿态控制数据分发至一个或多个扩展显示设备中的相应的扩展显示设备，以供所述相应的扩展显示设备更新显示画面。

作为以上方案的替代或补充，在根据本发明一实施例的系统中，所述通信模块进一步配置成：通过至少一个USB接口实现与所述一个或多个扩展显示设备之间的有线数据传输；或基于嵌套字通信或蓝牙通信实现与所述一个或多个扩展显示设备之间的无线数据传输。

作为以上方案的替代或补充，在根据本发明一实施例的系统中，所述通信模块进一步配置成：在基于蓝牙私有通信协议与所述移动终端建立通信连接时，识别所述移动终端的类型和型号；基于所述移动终端的类型和型号，利用所述蓝牙私有通信协议确定用于数据传输的通信参数；以及基于所述通信参数实现所述原始控制数据接收。

作为以上方案的替代或补充，在根据本发明一实施例的系统中，所述通信模块进一步配置成：基于蓝牙私有通信协议与一种或多种类型的移动终端建立通信连接，其中所述移动终端的类型包括以下各项中的至少一项：智能手机、平板电脑、可穿戴智能手环、可穿戴智能耳机、控制手柄。

作为以上方案的替代或补充，在根据本发明一实施例的系统中，所述原始控制数据包括以下各项中的至少一项：由所述移动终端的陀螺仪传感器采集的角速度数据；由所述移动终端的键位传感器采集的按键数据；由所述移动终端的图像传感器采集的图像数据；由所述移动终端的加速度传感器采集的加速度数据；以及由所述移动终端的地磁传感器采集的方向数据。

作为以上方案的替代或补充，在根据本发明一实施例的系统中，所述适配模块进一步配置成：对所述原始控制数据进行姿态解算并生成所述移动终端的四元数数据，以用作针对所述扩展显示设备的所述姿态控制数据，其中所述四元数数据指示所述移动终端在空间坐标系四轴的旋转角度。

作为以上方案的替代或补充，在根据本发明一实施例的系统中，所述通信模块包括时钟同步单元，所述时钟同步单元以预设频率向处于启用状态的扩展显示设备发送同步信号，以实现所述车机系统与所述扩展显示设备之间的时钟同步。

根据本发明的第二方面，提供一种用于实现扩展显示的方法，所述方法包括由车机系统执行的以下步骤：A、与移动终端建立通信连接并从所述移动终端接收原始控制数据，其中所述原始控制数据包括由所述移动终端的传感器采集的传感器数据；B、将所述原始控制数据转换成针对扩展显示设备的姿态控制数据；以及C、将所述姿态控制数据分发至一个或多个扩展显示设备中的相应的扩展显示设备，以供所述相应的扩展显示设备更新显示画面。

作为以上方案的替代或补充，根据本发明一实施例的方法还包括：通过至少一个USB接口实现与所述一个或多个扩展显示设备之间的有线数据传输；或基于嵌套字通信或蓝牙通信实现与所述一个或多个扩展显示设备之间的无线数据传输。

作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤A包括：在基于蓝牙私有通信协议与所述移动终端建立通信连接时，识别所述移动终端的类型和型号；基于所述移动终端的类型和型号，利用所述蓝牙私有通信协议确定用于数据传输的通信参数；以及基于所述通信参数实现所述原始控制数据接收。

作为以上方案的替代或补充，在根据本发明一实施例的方法中，步骤B包括：对所述原始控制数据进行姿态解算并生成所述移动终端的四元数数据，以用作针对所述扩展显示设备的所述姿态控制数据，其中所述四元数数据指示所述移动终端在空间坐标系四轴的旋转角度。

作为以上方案的替代或补充，根据本发明一实施例的方法进一步包括：以预设频率向处于启用状态的扩展显示设备发送同步信号，以实现所述车机系统与所述扩展显示设备之间的时钟同步。

根据本发明的第三方面，提供一种计算机存储介质，所述计算机存储介质包括指令，所述指令在运行时执行根据本发明第二方面所述的方法中的任意一项。

根据本发明的一个或多个实施例的车机系统能够同时接入多个扩展显示设备并利用一个移动终端作为多个扩展显示设备的控制器，通过将姿态控制数据分发至相应的扩展显示设备，实现针对车载XR设备的一对多控制。此外，根据本发明的一个或多个实施例的车机系统能够通过蓝牙私有通信协议与多种类型的移动终端（例如，智能手机、平板电脑、可穿戴智能手环、可穿戴智能耳机）建立通信连接并将从移动终端接收的传感器数据统一转换成针对扩展显示设备的姿态控制数据，从而打破了现有技术中对于XR专用手柄的限制，节约了车载扩展显示的硬件实现成本。

附图说明

本发明的上述和/或其它方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解，附图中相同或相似的单元采用相同的标号表示。在所述附图中：

图1为按照本发明的一个或多个实施例的车机系统10的示意性框图；以及

图2为按照本发明的一个或多个实施例的用于实现扩展显示的方法20的示意性流程图。

具体实施方式

以下具体实施方式的描述本质上仅仅是示例性的，并且不旨在限制所公开的技术或所公开的技术的应用和用途。此外，不意图受在前述技术领域、背景技术或以下具体实施方式中呈现的任何明示或暗示的理论的约束。

在实施例的以下详细描述中，阐述了许多具体细节以便提供对所公开技术的更透彻理解。然而，对于本领域普通技术人员显而易见的是，可以在没有这些具体细节的情况下实践所公开的技术。在其他实例中，没有详细描述公知的特征，以避免不必要地使描述复杂化。

诸如“包含”和“包括”之类的用语表示除了具有在说明书中有直接和明确表述的单元和步骤以外，本发明的技术方案也不排除具有未被直接或明确表述的其它单元和步骤的情形。诸如“第一”和“第二”之类的用语并不表示单元在时间、空间、大小等方面的顺序而仅仅是作区分各单元之用。

在下文中，将参考附图详细地描述根据本发明的各示例性实施例。

图1为按照本发明的一个或多个实施例的车机系统10的示意性框图。为了清晰地示出本发明的原理，图1中还示出了与车机系统10配合工作的其他装置。

类似于目前已经存在的车机系统，图1中示出的车机系统10可以提供针对外部设备（例如，移动终端30）的连接通道，以便实现功能上的相互补充。例如，移动终端30可以通过有线或无线的方式接入到车机系统10中，从而实现在车机系统10控制移动终端、或利用移动终端30控制车机系统10的功能。移动终端30可以为智能手机，在一些场景下，车机系统10可以利用移动终端30拨打电话、播放音乐，而车机系统10此时则可以作为移动终端30的音频输出设备。示例性地，移动终端30还可以是其他形式的便携式设备，例如，可以是笔记本电脑、平板电脑、电子书阅读器、可穿戴智能手环、智能手环等。

有别于传统的车机系统，图1中示出的车机系统10还可以提供针对一个或多个外部扩展显示设备40（例如，VR设备、AR设备和MR设备）的至少一个接口，以便外部扩展显示设备40能够借助于车机系统10与移动终端30之间的连接通道将移动终端30作为针对扩展显示设备40的XR控制器。目前市场上的一体或分体式扩展显示设备大多使用XR专用手柄作为XR控制器，其不仅不能实现一对多的控制效果，而且增加了车载扩展显示的硬件实现成本。借助于本发明提供的车机系统10，外部扩展显示设备40能够通过车机系统10与移动终端30之间的连接通道（例如，基于蓝牙私有通信协议的蓝牙连接）将移动终端30作为针对扩展显示设备40的XR控制器，通过简单的功能拓展将现有移动终端赋予XR控制器功能，从而打破了现有技术中对于XR专用手柄的限制，节约了车载扩展显示的硬件实现成本。

如图1所示，车机系统10包括通信模块110、适配模块120、路由模块130。

可选地，车机系统10的通信模块110以有线或无线的方式与一个或多个扩展显示设备40建立通信连接。在一个示例中，通信模块110通过至少一个接口实现与扩展显示设备40之间的有线数据传输，该至少一个接口可以是符合USB Type-C规范的接口，还可以包括基于显示端口（Display Port，DP）协议工作的通路、以及基于USB协议工作的通路。在另一个示例中，通信模块110基于嵌套字通信或蓝牙（低功耗蓝牙，BLE）通信实现与扩展显示设备40之间的无线数据传输。

可选地，通信模块110包括时钟同步单元，时钟同步单元可以以预设频率向处于启用状态的各扩展显示设备40发送同步信号，以实现车机系统与各扩展显示设备40之间的时钟同步。可选地，通信模块110还可以包括心跳检测单元，该心跳检测单元配置成在扩展显示设备40接入后启动心跳并持续检测心跳信号。心跳信号意指通信模块110在与扩展显示设备40的通信中要发送或接收一种信号，用来判断通信是处于正常状态还是中断状态。示例性地，心跳检测单元可以每隔一段时间向扩展显示设备40发送第一数据包，如果扩展显示设备40成功接收到第一数据包，扩展显示设备40将向心跳检测单元发送第二数据包。如果心跳检测单元成功接收到来自扩展显示设备40的第二数据包，则表明通信模块110与扩展显示设备40的通信连接处于正常状态；如果心跳检测单元未成功接收到来自扩展显示设备40的第二数据包，则表明通信模块110与扩展显示设备40的通信连接处于中断状态。若未成功接收到来自扩展显示设备40的第二数据包，通信模块110还可以启动重连机制以防止扩展显示设备40掉线。

通信模块110进一步配置成响应于扩展显示设备40的接入，与移动终端30建立通信连接并从移动终端30接收原始控制数据。示例性地，上述通信连接可以包括基于蓝牙私有通信协议建立的蓝牙连接以及其他无线连接方式，蓝牙私有通信协议指代由设备生产商在经典蓝牙协议的基础上进行改进的协议。示例性地，车机系统10的通信模块110在接收到扩展显示设备40的接入指令后主动发起蓝牙扫描，也即，广播蓝牙私有通信协议的预设信息。当移动终端30匹配到蓝牙私有通信协议的预设信息时向车机系统10发起蓝牙认证，认证通过后建立通信模块110和移动终端30之间的通信连接。

可选地，通信模块110进一步配置成：在基于蓝牙私有通信协议与移动终端30建立通信连接时，识别移动终端30的类型和型号；基于移动终端30的类型和型号，利用蓝牙私有通信协议确定用于数据传输的通信参数；以及基于通信参数实现原始控制数据接收。示例性地，当所述移动终端30为智能手机时，移动终端30在与通信模块110成功建立通信连接之后可以通过调用自身操作系统（例如，Android操作系统）的软件开发工具包提供的接口函数获取国际移动设备识别码，进而获取并向通信模块110发送类型和型号信息。示例性地，移动终端的类型可以包括以下各项中的一项或多项：智能手机、平板电脑、可穿戴智能手环、可穿戴智能耳机、控制手柄。示例性地，移动终端的型号可以包括移动终端的制造商信息、具体型号名称等。通信模块110在接收到移动终端30的类型和型号之后，可以基于蓝牙私有通信协议中预设对应信息（例如，通信参数与移动终端的类型和/或型号之间的对应表）确定用于数据传输的通信参数。示例性地，通信参数可以包括传输时间间隔、最大传输单元、最小传输单元等。

移动终端30设置有一个或多个传感器，由移动终端30的传感器采集的传感器数据可以用作针对扩展显示设备40的原始控制数据。可选地，原始控制数据包括以下各项中的至少一项：由移动终端的陀螺仪传感器采集的角速度数据；由移动终端的键位传感器采集的按键数据；由移动终端的图像传感器采集的图像数据；由移动终端的加速度传感器采集的加速度数据；以及由移动终端的地磁传感器采集的方向数据。

车机系统10的适配模块120配置成将从移动终端30接收的原始控制数据统一转换成针对扩展显示设备40的姿态控制数据。可选地，该数据转换过程可以包括利用适配模块120对各种类型的原始控制数据（例如，角速度数据、加速度数据、方向数据）进行姿态解算并生成移动终端30的四元数数据以用作针对扩展显示设备40的姿态控制数据，其中四元数数据指示移动终端30在空间坐标系四轴的旋转角度。

可选地，适配模块120可以进一步配置成将车机传感器（例如，车端陀螺仪传感器、车端加速度传感器、车端地磁传感器）采集的传感器数据与从移动终端30接收的原始控制数据进行数据融合，以利用车机端信息增强生成的姿态控制数据的精确度。

可选地，适配模块120还可以配置成利用尔曼滤波器算法对姿态控制数据进行防抖处理，以避免当车机上下颠簸时，姿态控制数据小范围抖动导致无法精准控制扩展显示设备40中的目标控件。

车机系统10的路由模块130配置成将姿态控制数据分发至相应的扩展显示设备40，以供相应的扩展显示设备40更新显示画面。可选地，路由模块130可以配置成为车机创建局域网以将各个扩展显示设备40的IP地址分配到为车机创建的局域网内。示例性地，路由模块130可以基于私有协议在车机与扩展显示设备40之间协商IP地址的分配，使得车机与扩展显示设备40在创建的局域网内能够处于同一网段进行通信。示例性地，路由模块130根据IP地址将姿态控制数据分发至相应的扩展显示设备40。借助于路由模块130，既可以实现针对接入车机系统10的扩展显示设备的统一控制，又可以实现针对单个扩展显示设备或其中某些扩展显示设备的单独控制。

根据本发明的车机系统10能够同时接入多个扩展显示设备并利用一个移动终端（例如，智能手机）作为多个扩展显示设备的控制器，通过将姿态控制数据分发至相应的扩展显示设备，实现针对车载XR设备的一对多控制。此外，根据本发明的车机系统10能够通过蓝牙私有通信协议与多种类型的移动终端（例如，智能手机、平板电脑、可穿戴智能手环、可穿戴智能耳机）建立通信连接并将从移动终端接收的传感器数据统一转换成针对扩展显示设备的姿态控制数据，从而打破了现有技术中对于XR专用手柄的限制，节约了车载扩展显示的硬件实现成本。

图2示出了根据本发明的一个实施例的用于实现扩展显示的方法20的示意性流程图。如图2所示，方法20包括由车机系统（例如，图1所示出的车机系统10）执行的以下步骤：步骤S210、与移动终端建立通信连接并从移动终端接收原始控制数据，其中原始控制数据包括由移动终端的传感器采集的传感器数据；步骤S220、将原始控制数据转化成针对扩展显示设备的姿态控制数据；以及步骤S230、将姿态控制数据分发至相应的扩展显示设备，以供相应的扩展显示设备更新显示画面。方法20的步骤可以参照上文中描述车机系统的具体工作流程开展，相关内容一并引用于此。限于篇幅，不在此赘述。

可选地，方法20还可以包括：通过至少一个USB接口实现与扩展显示设备之间的有线数据传输；或基于嵌套字通信或蓝牙通信实现与扩展显示设备之间的无线数据传输。

可选地，步骤S210包括：在基于蓝牙私有通信协议与移动终端建立通信连接时，识别移动终端的类型和型号；基于移动终端的类型和型号，利用蓝牙私有通信协议确定用于数据传输的通信参数；以及基于通信参数实现原始控制数据接收。

可选地，步骤S220包括：对原始控制数据进行姿态解算并生成移动终端的四元数数据，以用作针对扩展显示设备的姿态控制数据，其中四元数数据指示移动终端在空间坐标系四轴的旋转角度。

可选地，方法20还可以包括：以预设频率向处于启用状态的扩展显示设备发送同步信号，以实现车机系统与扩展显示设备之间的时钟同步。

另外，如上所述，本发明也可以被实施为一种计算机存储介质，在其中存储有用于使计算机执行如图2所示的方法的程序。在此，作为计算机存储介质，能采用盘类（例如，磁盘、光盘等）、卡类（例如，存储卡、光卡等）、半导体存储器类（例如，ROM、非易失性存储器等）、带类（例如，磁带、盒式磁带等）等各种方式的计算机存储介质。

在可适用的情况下，可以使用硬件、软件或硬件和软件的组合来实现由本发明提供的各种实施例。而且，在可适用的情况下，在不脱离本发明的范围的情况下，本文中阐述的各种硬件部件和/或软件部件可以被组合成包括软件、硬件和/或两者的复合部件。在可适用的情况下，在不脱离本发明的范围的情况下，本文中阐述的各种硬件部件和/或软件部件可以被分成包括软件、硬件或两者的子部件。另外，在可适用的情况下，预期的是，软件部件可以被实现为硬件部件，以及反之亦然。

根据本发明的软件（诸如程序代码和/或数据）可以被存储在一个或多个计算机存储介质上。还预期的是，可以使用联网的和/或以其他方式的一个或多个通用或专用计算机和/或计算机系统来实现本文中标识的软件。在可适用的情况下，本文中描述的各个步骤的顺序可以被改变、被组合成复合步骤和/或被分成子步骤以提供本文中描述的特征。

提供本文中提出的实施例和示例，以便最好地说明按照本发明及其特定应用的实施例，并且由此使本领域的技术人员能够实施和使用本发明。但是，本领域的技术人员将会知道，仅为了便于说明和举例而提供以上描述和示例。所提出的描述不是意在涵盖本发明的各个方面或者将本发明局限于所公开的精确形式。

Claims (13)

1.一种车机系统，其特征在于，所述系统包括：

通信模块，所述通信模块配置成与移动终端建立通信连接并从所述移动终端接收原始控制数据，其中所述原始控制数据包括由所述移动终端的传感器采集的传感器数据；

适配模块，所述适配模块配置成将所述原始控制数据转换成针对扩展显示设备的姿态控制数据；以及

路由模块，所述路由模块配置成将所述姿态控制数据分发至一个或多个扩展显示设备中的相应的扩展显示设备，以供所述相应的扩展显示设备更新显示画面。

2. 根据权利要求1所述的系统，其中所述通信模块进一步配置成：

通过至少一个USB接口实现与所述一个或多个扩展显示设备之间的有线数据传输；或

基于嵌套字通信或蓝牙通信实现与所述一个或多个扩展显示设备之间的无线数据传输。

3.根据权利要求1所述的系统，其中所述通信模块进一步配置成：

在基于蓝牙私有通信协议与所述移动终端建立通信连接时，识别所述移动终端的类型和型号；

基于所述移动终端的类型和型号，利用所述蓝牙私有通信协议确定用于数据传输的通信参数；以及

基于所述通信参数实现所述原始控制数据接收。

4.根据权利要求1所述的系统，其中所述通信模块进一步配置成：

基于蓝牙私有通信协议与一种或多种类型的移动终端建立通信连接，其中所述移动终端的类型包括以下各项中的至少一项：智能手机、平板电脑、可穿戴智能手环、可穿戴智能耳机、控制手柄。

5.根据权利要求1所述的系统，其中所述原始控制数据包括以下各项中的至少一项：

由所述移动终端的陀螺仪传感器采集的角速度数据；

由所述移动终端的键位传感器采集的按键数据；

由所述移动终端的图像传感器采集的图像数据；

由所述移动终端的加速度传感器采集的加速度数据；以及

由所述移动终端的地磁传感器采集的方向数据。

6.根据权利要求1所述的系统，其中所述适配模块进一步配置成：

对所述原始控制数据进行姿态解算并生成所述移动终端的四元数数据，以用作针对所述扩展显示设备的所述姿态控制数据，其中所述四元数数据指示所述移动终端在空间坐标系四轴的旋转角度。

7.根据权利要求1所述的系统，其中所述通信模块包括时钟同步单元，所述时钟同步单元以预设频率向处于启用状态的扩展显示设备发送同步信号，以实现所述车机系统与所述扩展显示设备之间的时钟同步。

8.一种用于实现扩展显示的方法，其特征在于，所述方法包括由车机系统执行的以下步骤：

A、与移动终端建立通信连接并从所述移动终端接收原始控制数据，其中所述原始控制数据包括由所述移动终端的传感器采集的传感器数据；

B、将所述原始控制数据转换成针对扩展显示设备的姿态控制数据；以及

C、将所述姿态控制数据分发至一个或多个扩展显示设备中的相应的扩展显示设备，以供所述相应的扩展显示设备更新显示画面。

9. 根据权利要求8所述的方法，其中所述方法还包括：

通过至少一个USB接口实现与所述一个或多个扩展显示设备之间的有线数据传输；或

基于嵌套字通信或蓝牙通信实现与所述一个或多个扩展显示设备之间的无线数据传输。

10.根据权利要求8所述的方法，其中步骤A包括：

在基于蓝牙私有通信协议与所述移动终端建立通信连接时，识别所述移动终端的类型和型号；

基于所述移动终端的类型和型号，利用所述蓝牙私有通信协议确定用于数据传输的通信参数；以及

基于所述通信参数实现所述原始控制数据接收。

11.根据权利要求8所述的方法，其中步骤B包括：

对所述原始控制数据进行姿态解算并生成所述移动终端的四元数数据，以用作针对所述扩展显示设备的所述姿态控制数据，其中所述四元数数据指示所述移动终端在空间坐标系四轴的旋转角度。

12.根据权利要求8所述的方法，其中所述方法进一步包括：

以预设频率向处于启用状态的扩展显示设备发送同步信号，以实现所述车机系统与所述扩展显示设备之间的时钟同步。

13.一种计算机存储介质，其特征在于，所述计算机存储介质包括指令，所述指令在运行时执行根据权利要求8-12中任一项所述的方法。

Images