CN102665135A

CN102665135A - 一种嵌入式屏幕传输系统及其操作方法

Info

Publication number: CN102665135A
Application number: CN2012101132259A
Authority: CN
Inventors: 刘琚; 殷超; 李清石; 刘朝晨; 许宏吉; 元辉
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2012-04-18
Filing date: 2012-04-18
Publication date: 2012-09-12

Abstract

本发明公开了一种嵌入式屏幕传输系统及其操作方法，该系统由连接在一个局域网内的屏幕发送端和屏幕接收端组成，屏幕发送端以TI达芬奇平台DM3730为核心，采用ARM微处理器和数字信号处理器DSP双核架构，ARM微处理器运行Linux系统和屏幕发送主程序，数字信号处理器DSP负责色彩空间格式转换、视频编码等大数据量运算；屏幕接收端运行在PC机上，实时显示发送端屏幕；ARM微处理器上包括UI界面控制模块、屏幕抓取模块、色彩空间转换模块、视频编码模块、TS流封装模块和网络发送模块。本发明采用模块化设计，有效地缩短了开发周期，降低了开发成本，能够将屏幕发送端屏幕显示内容通过网络即时传送到屏幕接收端显示。

Description

一种嵌入式屏幕传输系统及其操作方法

技术领域

本发明涉及一种基于达芬奇平台DM3730的嵌入式屏幕传输系统，属于嵌入式流媒体技术领域。

背景技术

随着嵌入式技术、网络流媒体技术的发展，有关电脑、手机、电视的屏幕传输技术慢慢走进人们的视野，带给用户崭新的视听生活。所谓屏幕传输，就是通过有线或无线网络，将终端A的屏幕显示内容以流媒体的形式即时地传送到终端B显示。通常终端A作为简化的流媒体服务器，具有较强的媒体处理能力，如电脑、智能手机等；终端B则一般具有直接播放网络媒体的播放器，且屏幕尺寸较大，具有良好的视听效果，如电视等。通过屏幕传输技术，有效拓展了媒体终端的展现能力，带给用户多屏共享互动等新鲜体验。目前市场上，屏幕传输技术已初见端倪，国际上，2010年Intel在CES会展发布了名为WiDi(Wireless Display)的无线高清技术，可以将笔记本的显示内容通过WiFi网络无线传输到电视上；在国内，海信利用电视方面的传统优势，也推出了支持PC2TV等功能的数字电视。

但是，目前这种屏幕传输技术的发送端仍然主要集中于PC上，而嵌入式多媒体终端（如PAD，智能手机等）日益受到用户的青睐，基于嵌入式平台的屏幕传输系统已经成为一种趋势。相比于PC，嵌入式终端受硬件限制，处理能力较弱，如果直接将现有PC上的软件移植到嵌入式平台，则存在与嵌入式平台兼容性差、可移植性低、开发周期长、成本高的缺点。

发明内容

本发明针对现有屏幕传输技术存在的不足，提供一种基于DM3730的嵌入式屏幕传输系统，该系统基于TI的达芬奇平台DM3730，具有模块化设计、可移植性好、开发周期短、成本低等优点。本发明同时提供一种该系统的操作方法。

本发明的基于DM3730的嵌入式屏幕传输系统，采用以下技术方案：

该嵌入式屏幕传输系统，由连接在一个局域网内的屏幕发送端和屏幕接收端组成；屏幕发送端以达芬奇平台DM3730为核心，采用ARM微处理器和数字信号处理器DSP双核架构，ARM微处理器作为通用处理器运行Linux系统和屏幕发送主程序，数字信号处理器DSP作为协处理器负责色彩空间格式转换和视频编码的大数据量运算；屏幕接收端运行在PC机上，采用能够直接播放网络媒体流的VLC播放器接收屏幕发送端发送来的TS流数据，并通过解复用和视屏解码实时显示发送端屏幕；

ARM微处理器上包括UI界面控制模块、屏幕抓取模块、色彩空间转换模块、视频编码模块、TS流封装模块和网络发送模块：

UI界面控制模块，基于Qt4，提供用户交互界面，用户通过该界面设置屏幕接收端IP地址、媒体流接收端口号以及与传输画面质量相关的参数（如屏幕抓取分辨率、抓取帧率等），该模块并用于协调其它各个模块，实现模块间的相互通信；

屏幕抓取模块，根据屏幕发送端帧缓冲Framebuffer设置及用户要求的屏幕抓取参数（如分辨率、帧率等），实时抓取屏幕发送端屏幕显示内容，并交由色彩空间转换模块处理；

色彩空间转换模块，从屏幕抓取模块获取屏幕显示数据，通过ARM微处理器调用数字信号处理器DSP端色彩空间格式转换算法完成对屏幕显示数据的色彩空间格式转换，并交由视频编码模块处理；

视频编码模块，从色彩空间转换模块获取格式转换后的屏幕显示数据，通过ARM微处理器调用数字信号处理器DSP端高效的H.264视频压缩算法完成对屏幕显示数据的视频压缩，并交由TS流封装模块处理；

TS流封装模块，从视频编码模块获取压缩编码后的屏幕显示数据，按照Mpeg-2 TS传输流标准完成ES->PES->TS的封装，以适应屏幕显示内容在网络上的有效传输；

网络发送模块，从TS流封装模块获取封装后的TS流数据，根据用户设置的屏幕接收端IP地址和媒体流接收端口，采用无连接的UDP协议，将屏幕显示内容以TS流形式发送端屏幕接收端。

上述基于DM3730的嵌入式屏幕传输系统的操作方法，包括以下步骤：

（1）屏幕接收端首先启动VLC播放器，设置用于接收屏幕显示内容TS流的端口号，等待屏幕发送端屏幕显示内容的传送；

（2）屏幕发送端首先启动UI界面控制模块，UI界面控制模块首先绘制用户交互界面，初始化其他各个模块需要的环境，分配模块间用于数据交互的共享内存，并等待接收用户交互；

（3）用户根据屏幕接收端在用户界面上设置媒体流接收IP地址和端口号，UI界面控制模块及时的将这些设置通知网络发送模块，用户根据需要，在用户界面设置有关传输画面质量的参数（如屏幕抓取分辨率、抓取帧率等），UI界面控制模块及时的将这些设置通知屏幕抓取模块等相关模块；

若用户要求高质量的传输画面，有更好的体验，可以设置较高的屏幕抓取分辨率和抓取帧率，但这样对处理器要求较高，会占用更多的CPU等资源；若用户要求较低，即可设置较低屏幕抓取分辨率和抓取帧率。

（4）用户根据需要调整好相关参数后，点击用户界面屏幕开始传输按钮，启动屏幕传输，此时UI界面控制模块启动其它所有相关模块开始工作；

（5）屏幕抓取模块根据如步骤（3）用户设置的屏幕抓取分辨率和抓取帧率，启动高精度Linux定时器，按照帧率不停地抓取屏幕显示内容，色彩空间转换模块按照视频编码模块要求的视频输入格式，对抓取到的屏幕显示内容做色彩空间转换；然后，视频编码模块对屏幕显示内容进行高效的H.264视频压缩，TS流封转模块对压缩后屏幕显示内容封转打包成TS流以适应网络传输，网络发送模块则根据如步骤3)用户设置的屏幕接收端的IP地址和端口号，将屏幕显示内容以TS流的形式快速、实时的传输到屏幕接收端。

此时，屏幕接收端及时、清晰地看到屏幕发送端的屏幕显示内容，用户通过几步简单的操作，即可完成屏幕的即时传输，带来了多屏共享互动等新鲜体验。

本发明基于达芬奇平台DM3730以及ARM微处理器和数字信号处理器DSP双核架构，采用模块化设计，模块间分工明确，高内聚、低耦合，具有较好的可维护性和可扩展性，有效地缩短了开发周期，降低了开发成本，能将屏幕发送端屏幕显示内容通过网络即时传送到屏幕接收端显示，有效的利用了发送端媒体处理能力和接受端良好的显示视觉效果，带给用户多屏共享的新鲜体验。

附图说明

图1是本发明基于DM3730的嵌入式屏幕传输系统的硬件结构框图。

图2是本发明基于DM3730的嵌入式屏幕传输系统的逻辑功能框图。

图3是本发明基于DM3730的嵌入式屏幕传输系统的软件设计框图。

具体实施方式

如图1所示，本发明的基于DM3730的嵌入式屏幕传输系统，由连接在一个局域网内的屏幕发送端101和屏幕接收端102组成。屏幕发送端101以达芬奇平台DM3730为核心，采用ARM微处理器+数字信号处理器DSP双核架构；屏幕接收终端102运行在PC机上，采用可以直接播放网络媒体流的VLC播放器显示发送端101屏幕。屏幕发送端101使用了TI公司推出的DM3730EVM开发板，其主要硬件配置如下：（1）DM3730处理器：DM3730微处理器是由1GHz（同时支持300，600和800MHz）的ARM微处理器Cortex-A8 Core和800MHz（同时支持250，520和660MHz）的TMS320C64x+数字信号处理器DSP Core两部分组成，并集成有3D图形处理器，视频加速器（IVA）等；（3）存储器：系统集成有256M DDR2 SDARM微处理器和512M NAND FLASH，其中ARM微处理器和数字信号处理器DSP共享DDR2 SDRAM，以实现双核通信；（3）LCD显示器。系统集成3.7存LCD显示器，支持VGA640X480和QVGA320x240分辨率显示；（4）网卡。系统集成有10/100Mbps高速以太网卡；（5）串口等其他外设。

如图2所示，本发明中的屏幕发送端基于达芬奇平台DM3730 ARM微处理器和数字信号处理器DSP双核架构，ARM微处理器作为通用处理器运行Linux系统和屏幕发送主程序，数字信号处理器DSP作为协处理器负责色彩空间格式转换、视频编码等大数据量运算。本发明采用模块化设计，ARM微处理器上包括UI界面控制模块201、屏幕抓取模块202、色彩空间转换模块203、视频编码模块204、TS流封装模块205和网络发送模块206。UI界面控制模块201负责为用户提供友好界面调节屏幕抓取参数，屏幕抓取模块202根据用户参数设置实时抓取屏幕显示内容，色彩空间转换模块203负责图像色彩空间格式转换，视频编码模块204负责实时高效的视频编码，TS流封装模块205负责封转视频编码后数据以适应网络传输，网络发送模块206和以太网连接，负责将屏幕显示内容以流媒体形式发送到屏幕接收端网络媒体播放器207。

逻辑上讲，发送端屏幕抓取、色彩空间转换、视频编码、TS封装、网络发送是按顺序串行执行的，但是因为各模块占用时间较长，若直接串行执行，是不能达到系统要求的。因此软件设计的重点在于多线程以及线程间通信。按照前面对于系统模块的划分，系统屏幕发送端软件设计成对应于五个模块的如图3所示的五个线程，即UI界面控制主线程301、屏幕抓取线程302、视频编码线程303、TS流封装线程304和网络发送线程305。另外，为保证线程间正确及时的通信，系统采用共享内存的线程间通信方式，精心设计了线程间共享缓冲区如pingpong缓冲307、308，环形队列缓冲309等，使得每个线程能够并行处理缓冲区数据。

下面详细说明各线程具体设计和共享缓冲区的设计：

1.UI界面控制主线程301：该线程完成系统初始化，保证其他线程的运行环境，分配用于线程间共享的缓冲区，提供用户良好界面。

用户可以通过界面设置屏幕接收端IP地址和端口号，以及有关传输画面质量的屏幕抓取参数如抓取分辨率、抓取帧率等。该用户界面基于Nokia Qt4，支持鼠标操作、触摸屏操作。

2.屏幕抓取线程302：该线程完成屏幕抓取和色彩空间转换，具体方法如下：

屏幕抓取主要通过映射帧缓冲区Framebuffer306到用户空间，完成对LCD屏幕数据的抓取。DM3730显示子系统主要采用Framebuffer作为Linux显示设备接口，将显存抽象为设备，允许上层应用程序直接对显示缓冲区进行读写操作。Framebuffer驱动框架屏蔽底层LCD、DVI等具体硬件驱动细节，给应用程序提供了统一、抽象的接口操作，使得应用程序开发者不必关心硬件层具体是如何显示图像的。由于Linux工作在保护模式，每个应用程序都有自己的虚拟地址空间，是不能直接访问物理缓冲区的，因此访问帧缓冲Framebuffer可以通过mmap函数将屏幕缓冲区的物理地址映射到用户空间的一段虚拟地址，然后应用程序就可以通过对这个虚拟地址指向的缓冲区进行写操作在屏幕上绘图，同样进行读操作就可以抓取到显示LCD上的屏幕数据了。另外，应用程序还可以通过ioctl函数设置或获取帧缓冲设备属性，如显示分辨率、像素格式等。

由于视频编码采用运行在数字信号处理器DSP上TI高度优化的H.264编码器，该编码器要求原始视频数据像素排列格式为YUV422 inteleaved格式UYVY，而抓取到的屏幕数据像素格式RGB565（即每个像素有2个字节表示，其中RED分量5bit，GREEN分量6bits，BLUE分量5bits），所以在把抓取到屏幕数据送给数字信号处理器DSP视频编码模块前，要先进行色彩空间格式转换。由于LCD屏幕分辨率为480x640，色彩空间格式转换必须逐个像素处理，因此数据量大，占用CPU很高，严重影响到抓屏帧率，从而影响屏幕传输后的视觉效果。因此特地对屏幕抓取模块和色彩转换模块进行了多种方案测试和高度优化。测试和优化过程如下：

①浮点运算改为定点运算。起初将色彩空间转换RGB565转YUV交由ARM微处理器来做，由于转换公式中有浮点数运算，而浮点运算会占用更多的时钟周期，因此在保证精度的前提下，将浮点运算改为定点运算，运算速度有较大提高。在CPU满负荷运行色彩转换时，每帧屏幕数据处理需要用时250ms，远远达不到系统要求。

②利用查表。将RGB565转YUV映射成3个表格，因为待转换的RGB565格式每个像素占2个字节，所以每个表格占65536字节。在程序初始化时先生成表格，然后在每次抓取屏幕数据后，不再进行运算，而是直接查询3个表格分别得到y、u、v值，抓屏速度又得到较大提高，此时每帧用时150ms，也达不到系统要求。

③提高cache命中率。由于映射到用户空间后的帧缓冲区在外部RAM上，因此在逐像素色彩空间转换时频繁访问外部RAM，严重限制了CPU运算速度。根据金字塔形存储器层次结构，cache位于外部RAM更高一层，cache存取速度能提高一个数量级，因此在读取外部RAM时必须提高cache命中率。利用在栈上开辟的一行像素数据空间，将逐个像素读取改为逐行像素读取，又一次提高了抓屏速度，此时每帧用时60ms，但在多任务运行抢占CPU时，仍然不能满足系统要求。

④利用数字信号处理器DSP进行算法加速。经过前述优化后，已经很难在ARM微处理器上在提高屏幕抓取和色彩空间转换速度，因此考虑利用将大数据量的色彩空间转换运算分担数字信号处理器DSP上。DM3730的数字信号处理器DSP核具有8个独立并行的功能单元，6个ALU逻辑运算单元，2个乘法单元，每个乘法单元一个时钟周期内可以完成4个16x16-Bit乘法运算，64个通用寄存器。我们在数字信号处理器DSP上编写了符合TI XDIAS标准的色彩空间转换算法，输入数据从ARM微处理器和数字信号处理器DSP的共享内存读入，转换完成后输出数据再写入共享内存，然后将算法进行XDM封装，并对codec server重新配置，使ARM微处理器端应用程序能够通过codec engine软件框架调用数字信号处理器DSP端色彩空间转换算法。对数字信号处理器DSP端算法做循环展开、内存优化后，每帧色彩转换用时仅8ms。由于屏幕抓取时映射Framebuffer到用户空间后的虚拟地址不在ARM微处理器和数字信号处理器DSP的共享内存上，因此在调用数字信号处理器DSP端色彩转换算法前，必须先将映射后帧缓冲中屏幕数据的快速拷贝到共享内存。这里巧妙利用了DM3730的视频处理子系统中VPSS中的Resizer图像缩放模块。Resizer图像缩放模块一般用在视频前端处理或后端处理时缩放图像，利用Resizer模块提供的驱动程序调用相关API将缩放系数置为1，且不对数据进行任何的数字滤波，这样就可以将屏幕数据快速拷贝到共享内存，从而可以调用数字信号处理器DSP端算法对屏幕数据进行色彩空间转换了。这次硬件拷贝用时5ms，加上数字信号处理器DSP色彩转换用时8ms，每帧屏幕抓取和色彩空间转换总共用时仅仅13ms，而且整个抓屏过程几乎不占用ARM微处理器的CPU，屏幕抓取帧率在LCD屏幕分辨率640x480时已经完全可以达到30fps，满足了系统要求。

3.视频编码线程303：利用数字信号处理器DSP强大的媒体处理能力，完成对屏幕抓取数据高效的H.264压缩编码。

H.264视频编码由ISO的MPEG和ITU的VCEG两个组织于2003年制定的，H.264在传统编码技术的基础上，采用全新的帧内预测、多帧参考预测、高精度运动估计等技术，进一步提高了数据编码压缩效率。与其他视频编码技术相比，压缩比更高，更加节省存储空间、网络带宽，图像质量更好。同时它采用分层设计，引入了面向包的编码机制，有利于网络中视频流媒体的分组传输，网络亲和性好。

H.264视频编码算法复杂度高，如果在纯粹的ARM微处理器上实现，当分辨率高、数据量很大时，压缩算法的复杂度将难以保证系统的实时性。因此该系统视频编码部分采用了TI提供的H.264编码器，该编码算法运行在数字信号处理器DSP核上，经过TI工程师高度优化可以支持720p 30帧每秒的高清视频编码。系统ARM微处理器端应用程序通过codec engine机制提供的visa api调用了该算法，在屏幕最大分辨率640x480，帧率30fps时，保证了视频编码的实时性，满足了系统要求。

4.TS流封装线程304：该线程将编码后的视频数据打包生成适合于网络传输的TS流，通过合理设置时间戳，有效解决了接收端解码、显示、同步以及缓冲区上溢、下溢问题。

Mpeg2传输流TS是ISO/IEC－13818－1Mpeg2系统部分规定的一种用于传输的封装格式。与TS包长可变相比，TS的包长固定、含有同步码字等，都决定了TS流适宜用于传输的特性，可以保证接收端接收TS流随时同步并解复用。视频编码后得到的数据流称为ES。首先ES通过PES打包器生成PES，PES由包头和负载组成，在PES包头中最重要的字段有dts，pts。dts决定了该PES包送给解码器解码的时间，pts决定了该PES包解码完成后显示的时间，dts、pts往往在多个流同步中扮演重要角色。PES再经过TS打包器生成TS。TS流中除了包含PES等音视频数据外，还包括其他节目特殊信息psi如pat节目映关联表，pmt节目映射表等。另外在TS包头内还有节目时钟参考pcr用于辅助接收端校准时钟。这些用于时钟校准、同步的时间标签，在解决同步问题的同时，也为防止接收端缓冲区上溢、下溢提供了有效保障。

ISO/IEC－13818－1Mpeg2系统部分针对封装H.264编码数据,还做了如下严格规定：H.264数据流必须按照H.264编码标准附录B要求,为每一个NAL单元添加同步字节等；为方便接收端简单有效地分帧，每一个编码后H.264帧必须携带访问单元分解符AUD。

将编码后的视频以帧为单位作为ES进行PES打包，这样就可以直接通过获取系统时间为每一帧分配dts、pts时间戳。将PES打包成TS流的过程中，以视频帧率为间隔插入pcr（如当帧率为30时，pcr间隔33ms），pcr取值为当前帧pts偏移一个固定值。ISO/IEC－13818－1Mpeg2系统部分固定pcr最小间隔为100ms，偏移固定值的方法满足了该要求，并且在实际测试中，简单有效地解决了接收端时钟同步、缓冲区上溢下溢问题。

5.网络发送线程305：该线程采用UDP协议将TS封装后的屏幕显示内容发送到接收端。

常见的网络流媒体传输协议有RTP/RTSP、MMS、RTMP等，这些协议工作在TCP/UDP协议之上的应用层，适用于网络环境复杂的互联网上，多用于大规模的流媒体点播、直播应用。对于嵌入式应用来说，上述协议逻辑控制复杂，占用资源较多，实现难度较大。而且该系统应用在局域网内，网络环境较简单，不需要做复杂的拥塞、质量控制，因此可以直接使用传输层协议TCP或者UDP。TCP是面向连接的协议，数据若在传输过程中丢失会导致重传，若应用在该屏幕传输系统中，一是维护TCP连接比较复杂，二是由于数据重传导致时延累积，这会大大影响用户体验。因此，该系统采用无连接的UDP协议传输屏幕显示内容。

为保证编码后图像质量，视频编码时未进行恒定码率控制，因此编码后码率变化较大，尤其当屏幕变化剧烈或者编码I帧时，码率很高。为了保证网络稳定，在发送TS流前，利用环形队列缓冲区对待发送TS流数据进行缓冲，从而能够平稳的将这些数据发送到网络，这样也保证了接收端的正确接收。

6.共享缓冲区设计：本发明中主要采用了pingpong双缓冲技术和环形队列缓冲区技术。

如图3所示，屏幕抓取线程和视频编码线程间，以及视频编码线程和TS流封装线程间，采用了pingpong双缓存技术。当屏幕抓取线程从Framebuffer帧缓冲306中抓取屏幕数据并进行色彩空间格式转化后将待编码数据写入307ping缓冲区的同时，视频编码编码线程正读取307pong缓冲区内数据进行H.264视频压缩并写入308ping缓冲区，而此时TS流封装线程正在对308pong缓冲区内已编码数据进行TS流打包。等到下一帧屏幕抓取时，各线程操作的相应pingpong缓冲区pingpong交换。

如图3所示，TS流封装线程和网络发送线程间，采用了环形队列缓冲设计。TS流封装线程将已编码数据打包TS流后，将数据写入环形队列缓冲309并移动缓冲区写指针；同时网络发送线程读取环形队列缓冲309中数据发送到网络并移动缓冲区读指针。两个线程并行执行，使用线程锁加锁临界区保证了环形队列缓冲309读写安全。

这样通过合理的模块划分、多线程设计和共享缓冲区设计，建立良好的模块化架构，体现了程序设计高内聚、低耦合的特点；各模块间彼此隔离和独立，使得多线程可以进行并行处理，保证了屏幕抓取、视频编码、TS流封装及网络发送的实时性，提高了系统性能。

Claims

1.一种嵌入式屏幕传输系统，由连接在一个局域网内的屏幕发送端和屏幕接收端组成；其特征是：

屏幕发送端以达芬奇平台DM3730为核心，采用ARM微处理器和数字信号处理器DSP双核架构，ARM微处理器作为通用处理器运行Linux系统和屏幕发送主程序，数字信号处理器DSP作为协处理器负责色彩空间格式转换和视频编码的大数据量运算；屏幕接收端运行在PC机上，采用能够直接播放网络媒体流的VLC播放器接收屏幕发送端发送来的TS流数据，并通过解复用和视屏解码实时显示发送端屏幕；ARM微处理器上包括UI界面控制模块、屏幕抓取模块、色彩空间转换模块、视频编码模块、TS流封装模块和网络发送模块：

UI界面控制模块，基于Qt4，提供用户交互界面，用户通过该界面设置屏幕接收端IP地址、媒体流接收端口号以及与传输画面质量相关的参数，该模块并用于协调其它各个模块，实现模块间的相互通信；

屏幕抓取模块，根据屏幕发送端帧缓冲Framebuffer设置及用户要求的屏幕抓取参数，实时抓取屏幕发送端屏幕显示内容，并交由色彩空间转换模块处理；

2.一种权利要求1所述嵌入式屏幕传输系统的操作方法，其特征是：包括以下步骤：

（3）用户根据屏幕接收端在用户界面上设置媒体流接收IP地址和端口号，UI界面控制模块及时的将这些设置通知网络发送模块，用户根据需要，在用户界面设置有关传输画面质量的参数，UI界面控制模块及时的将这些设置通知屏幕抓取模块等相关模块；

（5）屏幕抓取模块根据如步骤（3）用户设置的屏幕抓取分辨率和抓取帧率，启动高精度Linux定时器，按照帧率不停地抓取屏幕显示内容，色彩空间转换模块按照视频编码模块要求的视频输入格式，对抓取到的屏幕显示内容做色彩空间转换；然后，视频编码模块对屏幕显示内容进行高效的H.264视频压缩，TS流封转模块对压缩后屏幕显示内容封转打包成TS流以适应网络传输，网络发送模块则根据如步骤（3)用户设置的屏幕接收端的IP地址和端口号，将屏幕显示内容以TS流的形式快速、实时的传输到屏幕接收端。