CN111083450A - 车机端图像远程输出方法、装置及系统 - Google Patents

Abstract

本申请提供一种车机端图像远程输出方法、装置及系统，所述车机端包括视频处理芯片，所述方法包括：获取屏幕端输出的buffer数据；通过所述视频处理芯片将所述buffer数据转换成数据流；通过应用层传输协议对所述数据流封装后，推送给流媒体服务器，并由所述流媒体服务器将所述数据流发送至用户端进行播放。根据本申请实施例的车机端图像远程输出方法、装置及系统，能够解决数据压缩转换大量占用CPU资源，输出的帧卡顿和丢帧的问题，极大的降低了CPU的使用率，降低了传输数据流所需的带宽，并且能支持帧率得到显著提高，使视频播放流畅，画面清晰。

Description

车机端图像远程输出方法、装置及系统

技术领域

本申请涉及汽车电子技术领域，尤其涉及车机端图像远程输出方法、装置及系统。

背景技术

随着计算资源的云化，IT产业能更关注自身业务，而不是硬件环境。在车联网行业，相对于传统IT行业而言，由于研发对车机设备相对依赖。将资源云化，关注业务，也成了车联网行业面临的共同问题。通过对车机远程控制，集中管理，对企业内部研发而言，可以跨地域调配资源，进行远程开发调试工作。对企业外部开放生态，使得生态开发者能便捷的获取、访问不同于普遍IT设备的车机设备资源。因此，不论对公司内部，还是对公司外部，通过对车机的远程访问，将车机云化，使开发者无需搭建复杂的环境，只需关注自身业务，对车联网企业意义重大。

现有方案中，主要有使用纯软件方案和使用外接硬件方案进行传输，纯软件方案通过CPU进行压缩转换，因此对CPU资源的消耗较为严重，导致能够输出的帧率大大低于动态视频流的最低要求，从表象上看会有卡顿和丢帧的现象。使用外接硬件方案投入成本高，且外置设备经过了多种协议和数据转换，方案的稳定性依赖于外置设备的稳定性和可靠性。

发明内容

有鉴于此，本申请提供一种车机端图像远程输出方法、装置及系统，能够在不增加外置硬件的情况下，解决数据压缩转换大量占用CPU资源，输出的帧卡顿和丢帧的问题，极大的降低了CPU的使用率，降低了传输数据流所需的带宽，并且能支持帧率得到显著提高。

为解决上述技术问题，本申请采用以下技术方案：

第一方面，本申请提供一种车机端图像远程输出方法，所述车机端包括视频处理芯片，所述方法包括：

获取屏幕端输出的buffer数据。其中，buffer数据是带有缓存的数据。

通过所述视频处理芯片将所述buffer数据转换成数据流。其中，所述视频处理芯片对所述buffer数据编码得到指定协议的数据流，例如，H.264协议的数据流。

通过应用层传输协议对所述数据流封装后，推送给流媒体服务器，并由所述流媒体服务器将所述数据流发送至用户端进行播放。其中，所述流媒体服务器通过所述应用层传输协议接收发送目标音频数据流，所述应用层传输协议可以选择RTP(Real-timeTransport Protocol，实时传输协议)。所述用户端可以是一个或多个Web前端或移动终端。

作为本申请的第一方面的一个实施例，所述数据流为H.264协议的数据流。其中，视频处理芯片采用为H.264协议进行编码先要为每一幅图片划分宏块。H.264协议默认是使用16X16大小的区域作为一个宏块，也可以划分成8X8大小，划分好宏块后，计算一幅图像中每个宏块的象素值，对H264视频处理芯片缓存中的所有图片进行分组，H.264视频处理芯片会按顺序，每次取出两幅相邻的帧进行宏块比较，计算两帧的相似度。在相邻几幅图像画面中，一般有差别的像素只有10％以内的点,亮度差值变化不超过2％，而色度差值的变化只有1％以内可以分到一组。在这样一组帧中，经过编码后，只保留第一帖的完整数据，其它帧都通过参考上一帧计算出来。下面进行压缩编码，对时间上的数据冗余(进行帧间压缩)，通过运动矢量进行补偿，然后叠加原始背景数据。对空间上的数据冗余(进行帧内预测)，人眼对图象都有一个识别度，对低频的亮度很敏感，对高频的亮度不太敏感。所以可以将一幅图像中人眼不敏感的数据去除掉。如果帧间压缩和帧内压缩都用了，还有冗余，首先，需要将残差数据进行整数离散余弦变换(DCT)，去掉数据的相关性，进一步压缩数据。最后，进行CABAC(无损压缩)，进一步压缩。得到H.264协议的数据流。

作为本申请的第一方面的一个实施例，所述应用层传输协议包括RTP、RTSP、UDP或RTMP协议。其中，RTP、RTSP、UDP或RTMP协议都可以传输数据流给视频流服务器。

作为本申请的第一方面的一个实施例，所述用户端包括Web前端或移动终端。其中，所述Web前端或移动终端可以是一个或者多个，移动终端可以是手机等电子设备。

作为本申请的第一方面的一个实施例，所述方法还包括：

所述用户端接收所述数据流，并进行解码，以播放与所述buffer数据对应的图像。其中，所述解码协议与所述编码协议一致，例如，当编码协议选择H.264视频编解码协议，其解码协议选择H.264视频编解码协议，解码后得到视频数据在所述用户端播放。

第二方面，本申请实施例提供了一种车机端图像远程输出装置，包括车机端、流媒体服务器和通信模块，所述车机端包括获取模块和视频处理芯片，

所述获取模块用于获取屏幕端输出的buffer数据；

所述视频处理芯片用于将所述buffer数据转换成数据流；

所述通信模块通过应用层传输协议对所述数据流封装后，推送给所述流媒体服务器，并由所述流媒体服务器将所述数据流发送至用户端进行播放。

作为本申请第二方面的一个实施例，所述数据流为H.264协议的数据流。

作为本申请第二方面的一个实施例，所述应用层传输协议包括RTP、RTSP、UDP或RTMP协议。

作为本申请第二方面的一个实施例，所述用户端包括Web前端或移动终端。

作为本申请第二方面的一个实施例，所述装置还包括：

所述用户端接收所述数据流，并进行解码，以播放与所述buffer数据对应的图像。

第三方面，本申请实施例提供了一种车机图像远程控制系统，包括上述的车机端图像远程输出装置。

本申请的上述技术方案至少具有如下有益效果之一：

根据本申请实施例的车机端图像远程输出方法、装置及系统，能够解决数据压缩转换过程大量占用CPU资源，输出的帧卡顿和丢帧的问题，极大的降低了CPU的使用率，降低了传输数据流所需的带宽，并且能支持帧率得到显著提高，使视频播放流畅，画面清晰。

附图说明

图1为本申请实施例的车机端到用户端图像远程输出的一个应用场景；

图2为本申请实施例的数据输入和输出的流程图；

图3为本申请实施例的车机端图像远程输出方法的流程图；

图4为本申请实施例的车机端图像远程输出装置的结构示意图；

图5为本申请实施例的车机端的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

根据本申请的一些实施例，公开了一种基于硬件的车机音频远程输出的场景图。图1是根据本申请一个实施例的服务器端与终端网络通信的场景图。如图1所示，该场景中包括车机端101、流媒体服务器102以及用户端103，用户端可以是Web前端或移动终端(智能手机、平板电脑)中的一种，如图2示出了数据输入和输出的流程图，如图2所示，车机端获取屏幕端的buffer数据，该数据为色彩模式RGB数据，并由上层服务模块(capservice)进一步处理，发送至视频处理芯片，视频处理芯片将buffer数据转换成H.264协议数据流，通过应用层传输协议，如rtp协议，进一步封装后推送给流媒体服务器，通过流媒体服务器进行多设备流的信道映射和管理，用户端接收从流媒体服务器发送的数据流，并按指定的协议进行解码，然后播放。由于视频处理芯片具有很强的数据处理能力，并且不占用车机的CPU资源，因此，编码效率大幅提升。具体地，如图1和2所示，数据输入时，在用户端103，当用户进行点击，拖动等操作时，按多点触控协议，用户端103将操作行为对应的屏幕坐标数据发送给管理后台(后端)。其中，屏幕坐标数据为将真实视频分辨率与实际显示分辨率进行比例换算后的数据，在管理后台，当用户发起远程控制时，管理后台会调起车机端101程序。并将用户端103发送的操作控制数据透传给车机端101进程。在车机端101，当用户进行连接时，由车机端的后台服务器通过输入服务模块(input service)远程调起控制信号接收进程，并建立与管理后台服务器的socket连接。如果未检测到触控设备，则会创建虚拟触控设备。当收到管理后台的服务器透传过来的用户端多点触控协议数据时，按照触控协议调用接口，例如，libevdev接口，将触控操作数据传往上层服务模块(cap service)，如上层应用层。在应用层的APP，(用户操作的车机App端)，App收到触控操作指令后，触发其应用逻辑，并进行相应的界面变化，经渲染处理后显示，然后经图像输出链路输出到用户端103。

由此，通过图像输出和操作输入两部分链路闭环，即形成了远程控制方案。

由于视频处理芯片具有强大的数据处理能力，并且不占用车机的CPU资源，因此，编码效率大幅提升，解决了软件方案中的CPU瓶颈问题。由于车机与后端服务器可以在近端组网，不存在网络质量很差的情况，因此可以采用基于UDP的高速传输协议将数据发送给流媒体服务器。

此方案，不仅能用于车机，也能用于有视频编码芯片的其他设备。

下面结合附图对本申请的基于硬件的车机音频远程输出方法进行描述，图3示出了基于硬件的车机音频远程输出方法的流程图，如图3所示，车机端包括视频处理芯片，所述方法包括：

步骤S110，获取屏幕端输出的buffer数据。

具体地，通过车机自带的视频处理芯片获取屏幕端输出的缓存的buffer数据。

步骤S120，通过所述视频处理芯片将所述buffer数据转换成数据流。

其中，视频处理芯片可以通过以下过程实现数据的转换，视频处理芯片采用为H.264协议进行编码先要为每一幅图片划分宏块。H.264协议默认是使用16X16大小的区域作为一个宏块，也可以划分成8X8大小，划分好宏块后，计算一幅图像中每个宏块的象素值，对H264视频处理芯片缓存中的所有图片进行分组，H.264视频处理芯片会按顺序，每次取出两幅相邻的帧进行宏块比较，计算两帧的相似度。在相邻几幅图像画面中，一般有差别的像素只有10％以内的点,亮度差值变化不超过2％，而色度差值的变化只有1％以内可以分到一组。在这样一组帧中，经过编码后，只保留第一帖的完整数据，其它帧都通过参考上一帧计算出来。下面进行压缩编码，对时间上的数据冗余(进行帧间压缩)，通过运动矢量进行补偿，然后叠加原始背景数据。对空间上的数据冗余(进行帧内预测)，人眼对图象都有一个识别度，对低频的亮度很敏感，对高频的亮度不太敏感。所以可以将一幅图像中人眼不敏感的数据去除掉。如果帧间压缩和帧内压缩都用了，还有冗余，首先，需要将残差数据进行整数离散余弦变换(DCT)，去掉数据的相关性，进一步压缩数据。最后，进行CABAC无损压缩，进一步压缩。得到H.264协议的数据流。

步骤S130，通过应用层传输协议对所述数据流封装后，推送给流媒体服务器，并由所述流媒体服务器将所述数据流发送至用户端进行播放。

其中，其中，所述流媒体服务器可以是Red5流媒体服务器，其他还有CRTMPD、NGINX-RTMP、SRS等类型的流媒体服务器，所述流媒体服务器通过所述应用层传输协议接收发送目标音频数据流，所述应用层传输协议可以选择RTSP(Real Time Stream Protocol，实时流协议)。RTSP提供了操纵播放、快进、快倒、暂停及录制等命令的方法。

根据本申请的一个实施例，该方法还包括：

所述用户端接收所述数据流，并进行解码，以播放与所述buffer数据对应的图像。其中，所述解码协议与所述编码协议一致，也是H.264视频编解码协议，在用户端网页浏览器或终端浏览器进行网页实时通信(WebRTC)，利用jwplayer或者ckplayer等播放器播放解码后的视频。

基于上面的描述，下面结合具体实施例对本申请车机端图像远程输出装置进行说明，如图4和图5所示，本申请实施例的车机端图像远程输出装置，包括车机端1000、流媒体服务器2000和通信模块3000，所述车机端包括获取模块1001和视频处理芯片1002，

所述获取模块1001用于获取屏幕端输出的buffer数据，

所述视频处理芯片1002用于将所述buffer数据转换成数据流，

所述通信模块3000通过应用层传输协议对所述数据流封装后，推送给所述流媒体服务器，并由所述流媒体服务器将所述数据流发送至用户端进行播放。

根据本申请的一个实施例，该装置还包括：

所述用户端接收所述数据流，并进行解码，以播放与所述buffer数据对应的图像。

需要说明的是，本申请实施例提供的车机音频远程输出装置的各模块的具体工作过程在上述实施例的车机端图像远程输出方法中已经详细的说明，具体可参见上述实施例的方法，对此不在重复赘述。

基于与上述方法相同的发明构思，本申请还提供一种车机图像远程控制系统，该系统包括上述的车机端图像远程输出装置，由于本申请的车机端图像远程输出装置具有上述技术效果，由此，本申请实施例的车机图像远程控制系统也具有上述技术效果，即，能够解决数据压缩转换大量占用CPU资源，输出的帧卡顿和丢帧的问题，极大的降低了CPU的使用率，降低了传输数据流所需的带宽，并且能支持帧率得到显著提高，使视频播放流畅，画面清晰。

需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.一种车机端图像远程输出方法，其特征在于，所述车机端包括视频处理芯片，所述方法包括：

获取屏幕端输出的buffer数据；

通过所述视频处理芯片将所述buffer数据转换成数据流；

通过应用层传输协议对所述数据流封装后，推送给流媒体服务器，并由所述流媒体服务器将所述数据流发送至用户端进行播放。

2.根据权利要求1所述的方法，其特征在于，所述数据流为H.264协议的数据流。

3.根据权利要求1所述的方法，其特征在于，所述应用层传输协议包括RTSP、MMS或RTMP协议。

4.根据权利要求1所述的方法，其特征在于，所述用户端包括Web前端或移动终端。

5.根据权利要求1或4任一项所述的方法，其特征在于，还包括：

所述用户端接收所述数据流，并进行解码，以播放与所述buffer数据对应的图像。

6.一种车机端图像远程输出装置，其特征在于，包括车机端、流媒体服务器和通信模块，所述车机端包括获取模块和视频处理芯片，

所述获取模块用于获取屏幕端输出的buffer数据；

所述视频处理芯片用于将所述buffer数据转换成数据流；

所述通信模块通过应用层传输协议对所述数据流封装后，推送给所述流媒体服务器，并由所述流媒体服务器将所述数据流发送至用户端进行播放。

7.根据权利要求6所述的装置，其特征在于，所述数据流为H.264协议的数据流。

8.根据权利要求6所述的装置，其特征在于，所述应用层传输协议包括RTSP、MMS或RTMP协议。

9.根据权利要求6所述的装置，其特征在于，所述用户端包括Web前端或移动终端。

10.根据权利要求6或9所述的装置，其特征在于，还包括：

所述用户端接收所述数据流，并进行解码，以播放与所述buffer数据对应的图像。

11.一种车机图像远程控制系统，其特征在于，包括权利要求6-10任一项所述的车机端图像远程输出装置。

Images