CN105704202A - 用于远程车辆屏幕操作的方法和设备 - Google Patents

Abstract

本发明提供用于远程车辆屏幕操作的方法和设备。远程地控制图形显示单元的方法。由主系统请求与相关应用有关的远程系统的协助，主系统包括显示与主系统的专用应用有关的操作图形的至少一个主图形显示单元。由远程系统访问主系统的至少一个主图形显示单元。将与相应应用显示有关的图形应用数据从远程系统发送到主系统。将指导图形信息投影在至少一个主图形显示单元上。由远程系统通过向主系统的用户显示与相应应用有关的指导信息来远程地控制至少一个主车辆图形显示单元。适应性会话协议控制数据从远程系统向主系统发送的速度。

Description

用于远程车辆屏幕操作的方法和设备

技术领域

实施例涉及可配置屏幕显示器。

背景技术

在计算机上利用访问和远程控制图形显示屏，例如远程桌面服务，其中允许远程用户访问远程控制器并且获得对在远程计算机上运行的程序的控制。主计算机的用户能够看到远程计算机的桌面并且能够打开和操作存储在远程计算机上的应用。然而，这样的服务仅允许远程用户仅访问和控制存储在主计算机上的那些已有应用。即，远程用户仅被限于当前存在于主计算机上的那些应用。

这样的远程桌面服务通常与两个固定终端相关联。在涉及移动终端例如车辆的情况下，由于车辆运动，使得动态信道带宽是一个问题。此外，如果移动终端和固定终端之间的距离长，则延迟是主要问题。这样的数据传输问题包括源淹没宿，这是因为源将保持以固定速率传输信息，并且有时以宿不能处理的速率和量来传输信息。

发明内容

实施例的优点在于使用适应性会话协议，其通过根据服务器的传输层处的包索引动态地调节帧缓冲区的采样率，来动态地控制数据从远程系统向主系统发送的速度，这避免了淹没宿并且将通信信道的带宽减小至所需最低水平。

此外，这里描述的实施例允许远程实体将图形应用数据发送到主要专用于其他应用的一个或更多个主图形显示单元，并且远程终端的用户能够在主图形显示单元上显示指导图形，用于教导主图形显示单元的用户如何操作不必要地与主图形显示单元相关联的系统（例如车辆）的特征，或者代表用户执行用户请求的操作。结果，将正在远程系统上运行的应用发送并投影到主图形显示单元上，其仍由远程用户控制来提供与主用户可能请求协助的任意特征有关的指导图形。应用于主系统上的数据的传输和投影的适应性会话协议通过减小带宽使用并且减小延迟来提高性能。

实施例设想一种远程地控制图形显示单元的方法。由主系统请求与相关应用有关的远程系统的协助，主系统包括显示与主系统的专用应用有关的操作图形的至少一个主图形显示单元。远程系统包括远程图形显示单元。远程系统与主系统无线通信。由远程系统访问主系统的至少一个主图形显示单元。从远程系统向主系统发送与相应应用显示器有关的图形应用数据。将指导图形信息投影在至少一个主图形显示单元上；由远程系统通过向主系统的用户显示与相应应用有关的指导信息来远程地控制至少一个主车辆图形显示单元。适应性会话协议控制数据从远程系统向主系统发送的速度。

1.一种远程地控制图形显示单元的方法，包括以下步骤：

由主系统请求与相关应用有关的远程系统的协助，主系统包括显示与所述主系统的专用应用有关的操作图形的至少一个主图形显示单元，所述远程系统包括远程图形显示单元，所述远程系统与所述主系统无线通信；

由所述远程系统访问所述主系统的所述至少一个主图形显示单元；

从所述远程系统向所述主系统发送与相应应用显示器有关的图形应用数据；

将指导图形信息投影在所述至少一个主图形显示单元上；

由所述远程系统通过向所述主系统的用户显示与所述相应应用有关的指导信息来远程地控制所述至少一个主车辆图形显示单元；

其中适应性会话协议控制数据从所述远程系统向所述主系统发送的速度。

2.根据方案1所述的方法，其中投影在所述主图形显示单元上的所述指导图形信息作为新内容投影。

3.根据方案1所述的方法，其中投影在所述主图形显示单元上的所述指导图形信息作为对已有内容的覆盖投影。

4.根据方案1所述的方法，其中所述适应性会话协议使用帧缓冲区来控制由所述远程系统向所述主系统发送数据的采样率。

5.根据方案4所述的方法，其中根据所述主系统的传输层处的包索引来动态地调节所述帧缓冲区的所述采样率。

6.根据方案5所述的方法，其中响应于所述帧缓冲区中的数据被消耗，主系统向所述远程系统传送发送附加数据的请求。

7.根据方案6所述的方法，其中响应于在主系统和所述远程系统之间没有状态通信更新，不发送数据。

8.根据方案5所述的方法，其中响应于所述主系统传输层中的当前传出包的索引和所述主系统传输层中的最近确认包的索引之间的差在预定时间段上基本恒定，而增加所述帧缓冲区的所述采样率。

9.根据方案5所述的方法，其中所述采样率的动态调节由以下公式确定：

针对K_I_INTERVAL秒，（p₀-p₁）<C₀

其中p₀是当前传出包的索引，并且其中p₁是最近确认包的索引，C₀是采样间隔期间的最大值（p₀-p₁），并且K_I_INTERVAL是规定增加所述采样率所需的间隔的可校准常数。

10.根据方案9所述的方法，其中所述采样率以先前采样率的倍数增长。

11.根据方案9所述的方法，其中响应于所述主系统传输层中的当前传出包的索引和所述主系统传输层中的最近确认包的索引之间的差在第二预定时间段之后增加，而减小所述帧缓冲区的所述采样率。

12.根据方案11所述的方法，其中用于减小所述采样率的动态调节由以下公式确定：

对于K_D_INTERVAL秒，（p₀-p₁）>C₀

其中K_D_INTERVAL是采样间隔，其是规定减小所述采样率所需的间隔的可校准常数。

13.根据方案12所述的方法，其中所述采样率是先前采样率的分数。

14.根据方案12所述的方法，其中请求协助的所述相应应用是不同于主要用在所述主图形显示单元上的所述专用应用的应用。

15.根据方案12所述的方法，还包括以下步骤：

由主系统请求与在所述主车辆图形显示单元上显示的所述专用应用有关的远程系统的协助；

由所述远程系统访问所述主系统的所述至少一个主图形显示单元；

从所述主系统向所述远程系统发送与在目标主图形显示单元上显示的所述专用应用有关的图形应用数据；

将所述图形应用数据投影到所述远程图形显示单元上；

由所述远程系统远程地控制所述专用应用的特征，所述主图形显示单元当由所述远程系统控制时显示或覆盖所述专用应用的指导操作；

其中所述适应性会话协议控制与在所述主系统上显示的所述专用应用有关的数据从所述主系统向所述远程系统发送的采样率。

16.根据方案15所述的方法，其中当从所述主系统向所述远程系统发送应用数据时，主显示客户端/服务器用作服务器，并且远程显示客户端/服务器用作客户端。

17.根据方案16所述的方法，其中主图形编解码方案提供在所述主图形显示单元和主显示客户端/服务器之间的接口，所述主图形编解码方案在向所述远程系统发送应用数据之前对所述应用数据进行编码，并且其中所述远程图形编解码方案提供在所述远程图形显示单元和所述远程显示客户端/服务器之间的接口，所述远程图形编解码方案对从所述主系统接收的应用数据进行解码。

18.根据方案12所述的方法，其中当从远程车辆向主车辆发送应用数据时，主显示客户端/服务器用作客户端，并且远程客户端/服务器用作服务器。

19.根据方案18所述的方法，其中远程图形编解码方案提供在所述远程图形显示单元和所述远程显示客户端/服务器之间的接口，所述远程图形编解码方案在向所述主系统发送应用数据之前对所述应用数据进行编码，并且其中所述主图形编解码方案提供在所述主图形显示单元和所述主显示客户端/服务器之间的接口，所述主图形编解码方案对从所述远程系统接收的应用数据进行解码。

20.根据方案1所述的系统，其中在所述主系统和所述远程系统之间无线地传输应用数据。

21.根据方案1所述的系统，其中无线通信系统针对数据传输利用长期演进数据管道。

22.根据方案1所述的系统，其中所述主系统包括移动车辆，并且所述远程系统包括固定基础设施。

附图说明

图1是远程车辆屏幕访问系统。

图2是系统架构的方框图。

图3是无线通信信道和抖动缓冲区的示意图。

图4是在主系统和远程系统之间的通信协议的流程图。

具体实施方式

图1示出远程车辆屏幕访问系统10。系统10包括主系统12和远程系统14。主系统12可以包括但不限于车辆。例如，系统10可以用于汽车系统、飞机系统、教育系统或者其他非汽车系统。主系统12包括至少一个主图形显示单元16并且远程系统包括远程终端18。主图形显示单元14包括图形用户界面（GUI），用于允许用户经由图形图标和其他图形或与基于文本的消息不同的视觉指示与电子装置互动。这也允许使用图形输入而不是键入命令。

主图形显示单元16能够显示与一个或更多个专用车辆应用有关的操作图形。例如，主图形显示单元16可以是前控制台单元的一部分，其提供用于多媒体控制和操作的图形，但是GUI可重新配置成允许将显示器重新配置成与显示器上通常显示的专用图形不同的配置。

远程系统14的远程终端18是远离主系统12的基于计算机的装置或类似物。远程系统12与远程系统12无线地通信。主系统12和远程系统14二者均可以包括专用发射器和接收器来通信，或者可以分别利用由主系统或远程系统14所处的设施中的其他系统使用的共用的发射器和接收器。替代地，主系统12和远程系统14可以利用OnStar?来通信。OnStar?是由通用汽车制造的车辆上当前提供的基于订阅的通信服务，其经由基于车辆的通信单元提供包括但不限于车辆内安全性、远程诊断系统和逐向导航的服务，该基于车辆的通信单元提供在车辆和远程基础设施之间的无线通信链接。替代地，可以利用OnStar之外的专门无线通信网络。

优选地，主系统装备有长期演进（LTE）数据管道，其提供用于移动装置和其他数据终端的高速数据的无线通信。该网络技术使用不同的无线接口以及核心网络改进而提高了能力和速度。

图2示出了系统10的系统架构的流程图。数据流和通信是正向的（例如显示器访问）和反向的（例如远程操作）。系统用于在由远程终端控制的主车辆的显示器上显示相应图形。在每个图形显示单元上显示的相应图形和教程能够涉及每个主图形显示单元主要专用于显示的信息之外的信息。例如，虽然车辆图形显示单元可以主要显示多媒体控制，但是显示器可以配置成显示与主要多媒体控制有关的信息之外的协助装置教程。优点在于，任意车辆相关功能（包括但不限于车辆功能性、仪表板控制功能性、附件操作或者与车辆功能或附件功能的操作相关的任意其他信息）可以通过主图形显示单元呈现给用户，并且由远程实体控制。这允许车辆用户请求和接收关于如何利用由远程实体控制的图形显示器操作车辆功能的指令。替代地，远程实体可以代表驾驶员操作车辆控制件或者远程地配置车辆系统。

在图2中，主系统12的基础设施和远程系统14的基础设施具有类似架构，并且以此方式，由于两个系统由相同的协议管理，所以端到端方案不需要标准。

主系统12包括一个或更多个主图形显示单元16、主图形编解码方案20和主显示客户端/服务器22。类似地，远程系统14包括远程图形显示单元24、远程图形编解码方案26和远程显示客户端/服务器28。每个系统均可以使用相应处理器来执行功能，或者可以利用每个相应系统内的共用处理器。主系统12和远程系统14二者均能够用作推送数据的服务器或下载数据的客户端。

在远程系统12是服务器并且主系统14是客户端的实施例中，响应于主车辆12的用户的请求，主系统12联系远程系统14从而请求操作协助。该请求通过无线通信服务30传送。该服务可以是例如无线蜂窝服务等服务或者能够是专门网络。响应于通信请求，远程终端的操作员识别主系统操作者要求协助的相应用户应用32。

系统识别适当的图形编解码方案22，用于压缩需要被发送到主系统12和目标主显示器16的来自用户应用32的数据。图形编解码方案22是用于对经由通信服务30发送到主系统12的数据流进行编码的压缩-解压算法。

远程服务器有助于对主系统12的数据共享信息或者其他硬件和软件源。

主客户端允许车辆的用户获得对正由远程系统传输的数据的访问。主客户端获得由远程服务器接收的数据。

主图形编解码方案对由主客户端接收的数据进行解压。解压后数据图形地显示在图形显示单元上。因此，能够将由主系统使用的用于利用应用34的指令投影到主显示单元上，尽管显示单元主要设计用于其它应用。这允许在远程系统的基础设施处的博学的专家将图形教程投影到主系统的图形显示屏上，以便教授主系统的用户如何使用应用的相应功能或操作或者代表用户或在用户的监管下操作系统。

应该理解的是，车辆可以包括多个可重新配置的主图形显示单元（例如，中控台和仪表板）。将来自远程实体的通信传送到连接于车辆中的任意主图形显示单元或能够寻址车辆中的任意主图形显示单元的主系统。还能够同时访问每个主图形显示单元。例如，能够将例如操作员名字等基本信息显示在中控台图形显示器上，同时能够将教导信息显示在仪表板图形显示器上。

还应该理解的是，这里描述的操作能够正向或反向地使用。例如，在车辆环境中，如果用户需要学习如何操作速度控制装置，则远程系统用作服务器并且主系统用作客户端。远程系统的代表能够将其自身桌面屏幕直接投影到车辆的图形显示单元上。该代表能够通过将该代表的桌面显示在车辆的图形显示器上，而指导车辆用户浏览图形地示出如何操作速度控制装置的步骤的教程。

对于反向操作，新接触最近引入的应用或特征的顾客可以联系远程系统的代表请求协助。在这种情况下，在应用或特征是车辆图形显示单元显示的主要功能之一的情况下，远程系统的代表能够远程地访问车辆图形显示单元，并且能够从远程位置控制车辆的车辆图形显示单元。在这种情况下，车辆系统是服务器并且远程系统是客户端，其中车辆系统发送应用数据至远程系统，使得远程系统能够图形地构建并显示用户正在其显示器上观看的内容。

在两种情况下，因为二者端部均由远程终端的代表利用相同的协议来控制，所以端到端方案不需要是标准的。

图3示出了利用端到端会话协议的无线通信信道和缓冲区的示意图，其用于管理源的图形显示单元向宿的图形显示单元发送所捕获的帧缓冲区的速度。这避免了源不必要地淹没宿，并且使得蜂窝带宽适于传输所需的最低水平。方框40代表无线信道并且方框42代表宿处的抖动缓冲区。宿维持抖动缓冲器的可选大小{n=f(App,BW)}。随着宿处的抖动缓冲区被消耗，宿通知源发送另一帧缓冲区。如果源没有接收到来自宿的发送帧缓冲区的指令，则源将不发送进一步的更新。因此，主要概念是根据服务器的传输层处的包索引来动态地调节帧缓冲区的采样率。

图4示出了主系统和远程系统之间的通信协议。对于该示例，主系统将是车辆50并且远程系统是向车辆用户提供协助的呼叫中心52。方框54代表帧缓冲区。帧缓冲区是包括位图的RAM的一部分。位图从包含完整数据帧的存储器缓冲区被驱动到图形显示器。存储器缓冲区内的数据包括显示在图形显示单元上的每个像素的色值。驱动帧缓冲区所需的存储器的量取决于输出信号的分辨率。在帧缓冲区内，电子束沿着从左到右、从上到下的路径扫过整个图形显示屏。同时，从帧缓冲区获得屏幕上每个点的颜色信息，从而生成一组像素。

在方框56中，识别帧缓冲区的采样率（r）。

在方框58中，将AVC编码器用于来自帧缓冲区的所采集数据。

在方框60中，将数据从呼叫中心发送到车辆，从而在方框62中利用蜂窝服务、云等。此外，提供反馈控制件（CTL）用于根据需要调节采样率。

在方框64中，在接收器缓冲区处接收数据。

在方框66中，将接收到的数据提供给AVC解码器用于对数据进行解码。

在方框68中，将解码后数据投影在车辆的图形显示单元上。

使用下列协议来调节由帧缓冲区提供的数据。当前传出TCP包的索引由p₀表示。最近确认(ACK)的TCP包的索引由p₁表示。帧缓冲区的采样率由r表示，并且r₀是由系统支持的最小采样率。

协议如下：

r=r₀

C=T秒期间的最大值（p₀-p₁）

当接收到以下确认时

如果对于K_I_INTERVAL秒而言，（p₀-p₁）<C₀

r=r*2；

C₀=最大值（p₀-p₁）

结束

如果对于K_D_INTERVAL秒而言，（p₀-p₁）>C₀

r=r/2;

C₀=最大值（p₀-p₁）

结束

结束。

其中p₀是当前传出包的索引，并且其中p₁是最近确认包的索引，C₀是采样间隔期间的最大值（p₀-p₁），K_I_INTERVAL是规定增加采样率所需的间隔的可校准常数，并且K_D_INTERVAL是作为规定减小所述采样率所需的间隔的可校准常数的采样间隔。

操作原理将从最小采样率开始。当传出TCP包的索引和最近确认的TCP包的索引之间的差（p₀-p₁）在预定时间段（例如K_I_INTERVAL是5秒）上基本恒定时，增加采样率r。如果传出TCP包的索引和最近确认的TCP包的索引之间的差（p₀-p₁）在第二预定时间段（例如K_I_INTERVAL是1秒）上增加，则立即减小采样率r。因此，随着车辆处的抖动缓冲区被消耗，车辆通知呼叫中心再发送一个帧缓冲区。如果呼叫中心没有接收到来自车辆的任何请求，则呼叫中心将不发送进一步的更新。这避免了呼叫中心不必要地淹没车辆。相比于利用远程桌面服务的系统，该协议在将采样率最大化的同时将延迟最小化，并将通信带宽减小到所需最低水平。应该理解的是，对于K_I_INTERVAL和K_D_INTERVAL的间隔时间是示例性的，并且还可以使用其他间隔时间。

虽然已经详细描述了本发明的某些实施例，但是对本发明所涉及领域熟悉的那些技术人员将认识到由所附权利要求限定的用于实践本发明的各种替代设计和实施例。

Claims (10)

1.一种远程地控制图形显示单元的方法，包括以下步骤：

由主系统请求与相关应用有关的远程系统的协助，主系统包括显示与所述主系统的专用应用有关的操作图形的至少一个主图形显示单元，所述远程系统包括远程图形显示单元，所述远程系统与所述主系统无线通信；

由所述远程系统访问所述主系统的所述至少一个主图形显示单元；

从所述远程系统向所述主系统发送与相应应用显示器有关的图形应用数据；

将指导图形信息投影在所述至少一个主图形显示单元上；

由所述远程系统通过向所述主系统的用户显示与所述相应应用有关的指导信息来远程地控制所述至少一个主车辆图形显示单元；

其中适应性会话协议控制数据从所述远程系统向所述主系统发送的速度。

2.根据权利要求1所述的方法，其中投影在所述主图形显示单元上的所述指导图形信息作为新内容投影。

3.根据权利要求1所述的方法，其中投影在所述主图形显示单元上的所述指导图形信息作为对已有内容的覆盖投影。

4.根据权利要求1所述的方法，其中所述适应性会话协议使用帧缓冲区来控制由所述远程系统向所述主系统发送数据的采样率。

5.根据权利要求4所述的方法，其中根据所述主系统的传输层处的包索引来动态地调节所述帧缓冲区的所述采样率。

6.根据权利要求5所述的方法，其中响应于所述帧缓冲区中的数据被消耗，主系统向所述远程系统传送发送附加数据的请求。

7.根据权利要求6所述的方法，其中响应于在主系统和所述远程系统之间没有状态通信更新，不发送数据。

8.根据权利要求5所述的方法，其中响应于所述主系统传输层中的当前传出包的索引和所述主系统传输层中的最近确认包的索引之间的差在预定时间段上基本恒定，而增加所述帧缓冲区的所述采样率。

9.根据权利要求5所述的方法，其中所述采样率的动态调节由以下公式确定：

针对K_I_INTERVAL秒，（p₀-p₁）<C₀

其中p₀是当前传出包的索引，并且其中p₁是最近确认包的索引，C₀是采样间隔期间的最大值（p₀-p₁），并且K_I_INTERVAL是规定增加所述采样率所需的间隔的可校准常数。

10.根据权利要求9所述的方法，其中所述采样率以先前采样率的倍数增长。