CN205212923U - 可重构网络媒体话机终端 - Google Patents

Abstract

可重构网络媒体话机终端，所述终端嵌入式系统基于嵌入式双处理器为核心的基础上进行扩展，嵌入式双处理器包括DSP核与ARM微处理器核，ARM微处理器核包括ARM核微处理器作为主控制器，以FPGA芯片处理器即DSP核作为重构控制器，与嵌入式双处理器连接的是总线、存储器、串口、网络IO口、视频输入/输出单元、视频编解码器、语音输入/输出单元、语音编解码器、延时单元、系统控制单元、多媒体数据复用/解复用单元和网络接口单元。所述终端在软件的驱动下，对FPGA芯片处理器的全部或部分逻辑资源重新进行动态配置，并匹配相应的应用中间件及配置操作提升性能，实现硬件时分复用、最大限度支持终端具备高实用性和可扩展性。

Description

可重构网络媒体话机终端

【技术领域】

本实用新型涉及计算机嵌入式技术领域，具体涉及一种可重构网络媒体话机终端。

【背景技术】

传统的嵌入式终端系统由于专用性强、相互不兼容、扩展性差、缺乏通用化、模块化，不能共享软硬件组成，不仅使开发效率低下，而且使得开发一套复杂终端系统的周期长且价格高昂。以三网融合和云计算等为代表的信息通信技术快速发展要求网络接入终端更新换代，向数字化，智能化方向演进。需要解决以往由芯片解决方案原始设计定型后只能被动使用的问题，并按需自定义终端功能、根据网络业务应用的不同需求对终端嵌入式系统进行重构。

可重构技术是利用可重用的软硬件资源，根据不同的应用需求，灵活地改变自身体系结构的设计方法。在可重构系统(ReconfigurableSystem)中，硬件信息(可编程器件的配置信息)也可以像软件程序一样被动态调用或修改。既保留了硬件计算的性能，又兼具软件的灵活性。FPGA(Field－ProgrammableGateArray)，即现场可编程门阵列(可编程器件)提供了一种介于可编程体系结构DSP芯片和专用集成电路ASIC芯片之间的计算手段，目前已成为学术界和工业界的研究热点，并且已经有许多研究成果和工业产品面世。FPGA芯片处理器集合了可编程体系结构DSP和专用集成电路ASIC的共同优点，能够根据不同的应用需求，改变自身的体系结构，以便与具体应用需求相匹配。与传统的刚性体系结构(专用集成电路ASIC)相比，可重构体系结构具有一定程度的柔性；与传统的柔性体系结构(可编程体系结构DSP)相比，能够更好适应实际应用中的多元化需求，因此得到了广泛的应用。

随着以Android为代表的开放操作系统市场占有率不断增加，得益于Android操作系统对ARM处理器架构的良好支持，基于Android操作系统以ARM核微处理器作为主控制器，基于FPGA芯片的处理器作为重构控制器的混合解决方案有可能构成新的嵌入式终端开发平台。

可重构技术使嵌入式终端能通过软硬定义所需的特性和功能，并使接入终端设备成为高度智能化和软件化的产品，能够提高系统资源利用率、降低实现和维修成本；近年来，业界针对嵌入式终端实现和可重构系统技术进行理论和实际研究，并取得了一定的成果。比如：

200820038534.3号专利公开了一种融合型网络媒体话机终端，将数字机顶盒、IP话机、无线子母机等的相关功能集中为一体。所采用的技术方案是：基于SIP的H.264融合型网络媒体话机终端，包括：以嵌入式处理器利用嵌入式软件实现音视频编解码、使用通用系统芯片实现各种功能接口、嵌入式操作系统和通讯控制协议等，增加接入网通信转接处理器和室内无线子母机，软件实现PSTN-Call、IP-Call和WebCall等基于域识别和号码映射的融合通信业务转换和路由转接，终端以融合通信技术实现对三网融合、3G互通、UMS目录搜索和P2P等相关业务的支持；

200820237899.9号专利公开了一种数字电视网络媒体话机终端，由前端数字电视接收处理和后端通信处理两个模块构成：前端数字电视接收处理模块包含数字电视接入射频变换处理模块和媒体处理器接口、完成数字电视DVB信号的解调和数字电视MPEG音视频编解码；数字电视接入射频变换处理模块包括接入射频变换处理芯片、调谐器和通道解码器芯片和专用解复用和音视频芯片构成并前后互相连接；后端通信处理模块由含高速数字信号处理芯片的嵌入式ARM处理器、音频信号输入/输出处理芯片、通信处理器接口构成；嵌入式ARM处理器实现多种通信处理器接口的通讯和传输控制协议并实现音视频播放处理，设置双口RAM提供前端数字电视接收处理模块和后端通信处理模块间的通信端口。。

201210536404.3号专利公开了一种P2P网络媒体话机终端，基于P2P/SIP网络实现P2P/SIP网络业务应用，P2P网络媒体话机终端作为P2P/SIP网络的接入终端，包括系统控制单元、前端P2P/SIP通信处理模块和后端信息处理模块，前端P2P/SIP通信处理模块包括网络界面单元和P2P/SIP通信适配器模块，连接网络IP实现P2P/SIP通信的适配和传输控制协议；后端信息处理模块执行音频和视频处理、包括通信处理模块和交互操作接口模块，交互操作接口模块连接显示装置和拨号装置用以输入指令以令P2P网络媒体话机终端动作以及语音输入输出装置；系统控制单元根据交互操作接口模块输入的信息，利用嵌入式操作系统控制实现基于号码映射的通信处理和媒体交互应用处理。

201110191236.4号专利公开了一种三网融合系统，涉及三网融合领域。该系统包括：由支持虚拟化的硬件路由器组成的物理设备层；在所述物理设备层的基础上通过虚拟化技术形成虚拟网络层；所述虚拟网络层包括：虚拟互联网、虚拟电信网和虚拟广播电视网。本实用新型的三网融合系统，通过虚拟路由器技术，有效的解决了具有不同业务质量需求的多网并行问题。通过软件实现虚拟路由器和硬件实现虚拟路由器两种方案共存的结构设计，使得本实用新型的三网融合系统，在实现低成本灵活部署的同时也满足了核心路由器高速率大吞吐量的性能要求。

201010224136.2号专利公开了一种基于异构网络融合的嵌入式家庭网关综合服务平台。具体包括硬件层、内核软件层和应用软件层；所述内核软件包括操作系统和板级支持包；所述板级支持包实现与硬件相关的操作；所述应用软件层调用内核软件提供的接口函数实现终端系统所需的各项应用功能；所述硬件层包括主控模块以及分别与主控模块相连接的音视频编解码模块、模拟线路信令处理单元、无线网卡模块、Zigbee模块和以太网接口模块。

201210206529.X号专利公开了一种嵌入式可重构数据处理方法、装置及系统，其中，该方法包括：处理装置接收处理器发送的更改协处理器的FPGA的指令；处理装置根据指令选取更改协处理器的FPGA所需的配置文件以完成对协处理器的FPGA的更改，其中，处理装置与处理器和协处理器分别相连接。解决了相关技术中改变协处理器的FPGA的配置过程需要占用处理器时间较长而造成的影响系统性能的问题，进而达到了提高系统性能的效果。

2014102401001号专利公开了一种基于大规模粗粒度嵌入式可重构系统及其处理方法，其包括：系统总线、控制总线、嵌入式微处理器、系统中断控制器、片外同步动态随机存储器、可重构处理器和重构控制单元，该处理方法针对点数为N(4千点N1兆点)的快速傅里叶变换算法，将N点信号长度分解成M阶蝶形运算，然后映射到可重构处理器上，形成数据流图，通过嵌入式微处理器启动重构控制单元，将配置信息发送给可重构处理器，控制可重构处理器开始进行加速型运算。在兼顾灵活度的同时提高了运算效率。

以上技术涉及网络信息终端等信息终端的设计结构、功能模块和实现方法,也涉及可重构技术体系和应用方法，但未见涉及可重构技术支持网络媒体话机终端等嵌入式终端系统的架构描述，特别是实际可实现的可重构网络媒体话机终端及应用。

新一代网络软件已经有涉及IPTV、FMC、3G互通等三网融合重要业务应用的支持，但硬件集成上还需要改进。

【发明内容】

本实用新型的目的在于：提供一种可重构网络媒体话机终端，终端采用可重构技术，通过嵌入式硬件及应用软件实现基于号码映射的融合通信业务创建、实现对IPTV、FMC、3G互通等三网融合重要业务应用的支持；形成可传递动态数据，支持管理和控制之下的网络通信和协作终端最佳用户界面功能应用框架，充分利用硬件模块、软件算法来替代硬件模块以优化提升终端效率特性的新方法，通过聚合不同信息源和互动体验，提供一种安全、可升级、具有良好适应性的小型化和低成本全新终端实现模型。支持终端满足三网融合等网络新业务应用的多样性需求。

本实用新型的技术方案是，可重构网络媒体话机终端，所述终端嵌入式系统基于嵌入式双处理器为核心的基础上进行扩展，嵌入式双处理器包括DSP核与ARM微处理器核，ARM微处理器核包括ARM核微处理器作为主控制器，以FPGA芯片处理器即DSP核作为重构控制器，与嵌入式双处理器连接的是总线、存储器、串口、网络IO口、视频输入/输出单元、视频编解码器、语音输入/输出单元、语音编解码器、延时单元、系统控制单元、多媒体数据复用/解复用单元和网络接口单元。

所述视频输入/输出单元、视频编解码器、语音输入/输出单元、语音编解码器、延时单元、系统控制单元、多媒体数据复用/解复用单元和网络接口单元与外围器件连接，外围器件包括AV、触摸屏/键盘、SD、USB、RS232、LCD、CCD器件。

另有数据处理单元(可选)。

另设有网络传输/信令处理软件和完成资源处理/协议封装功能的DSP代码，相对独立的功能划分为两者之间提供了有效的、明确的接口，以及在单一的解决方案中支持多通道和多协议的体系结构，代码也因此具有极大的灵活性、可伸缩性和可重用性。以ARM核微处理器作为主控制器，以FPGA芯片处理器作为重构控制器配合主控制器工作，外挂适当的存储及其它外围器件、电路，构成嵌入式硬件系统；采用Android操作系统，以中间件定义通信、媒体处理功能及应用接口，构成嵌入式软件系统；适用于IP网络，采用SIP通信控制协议、多媒体数据打包协议和不同的网络接口单元，但是视频和语音输入/输出单元、音视频编解码器、VOIP编解码器等相似。

采用的可重构技术：将可重构微处理器技术引入嵌入式系统设计领域，通过构建终端通用的硬件平台，最终通过预定义开发嵌入式应用软件，以中间件方式来实现不同的可重构网络媒体话机终端功能定义，并覆盖接口控制的相关方法。

所述终端嵌入式系统采用独特的双核结构，把高性能低功耗的DSP核与控制性能强的ARM微处理器结合起来，成为高度整合性SoC。形成开放式的、可编程的基于DSP的体系结构。终端嵌入式系统的软件平台独立于硬件平台，应用软件工程构件化平台上的DSP/BIOS桥。使双核结构的两个操作系统无缝工作，DSP/BIOS桥用于连接DSP和其他通用处理器(GPP)上的OS。GPP在OMAP里是ARM，还可以是MIPS(MicroprocessorwithoutInterlockedPipeStage)等。DSP/BIOS桥用于非对称的、由一个通用处理器(GPP)和一个DSP组成的双处理器环境。DSP/BIOS桥作为GPPOS和DSPOS的软件组合，把两个操作系统连接在一起。这种连接能够使GPP端的客户与DSP上的任务交换信息和数据。连接分为两种类型：消息子连接和数据流子连接。每种子连接都按顺序传递消息，哪个消息先到消息链，哪个消息就先被传递；同样哪个数据流先到数据流链，哪个数据流就先被传递。每个子连接都独立地进行操作，例如GPP先发送数据流，然后发送消息；如果消息有高优先级，那么消息比数据流先到DSP)。DSP任务通常用消息对象传送控制和状态信息，用数据流对象传送高效实时数据流。

所述终端的软件部分主要由嵌入式操作系统、网络协议及应用软件组成。嵌入式操作系统是一种实时的、支持嵌入式应用的操作系统，通常包括与硬件相关的底层驱动软件、系统内核、设备驱动接口、通信协议等。与PC操作系统相比较，嵌入式操作系统包括针对不同处理器优化设计的高效率实时多任务内核，负责作业调度、内存管理和任务间的通信，并提供对各种网络协议的有力支持，在系统的实时高效性、硬件的相关依赖性、软件固态化以及应用的专用性等方面具有较为突出的特点，适合于终端对多种网络、业务的接入与融合应用。

可重构计算技术能够通过动态改变嵌入式系统配置来灵活满足多种嵌入式终端系统的功能需求。可重构网络媒体话机终端定义为3C终端消费产品，要求其系统处理能力强，考虑其普及化需要，必须较好地适配网络业务环境的架构，并能够提供足够好的应用支持能力。根据类PC终端设计的标准框架，3C终端具有部分类似的嵌入式系统基础结构。其基本结构包括视频输入/输出单元、视频编解码器、语音输入/输出单元、语音编解码器、延时单元、数据处理单元(可选)、系统控制单元、多媒体数据复用/解复用单元和网络接口单元。适用于IP网络，采用SIP通信控制协议、多媒体数据打包协议和不同的网络接口单元，但是视频和语音输入/输出单元、音视频编解码器、VOIP编解码器等相似。采用的可重构技术：将可重构微处理器技术引入嵌入式系统设计领域，通过构建终端通用的硬件平台，最终通过预定义开发嵌入式应用软件，以中间件方式来实现不同的可重构网络媒体话机终端功能定义，并覆盖接口控制的相关方法。

所述终端嵌入式系统的底层构件，是建立在硬件构件的基础上,根据硬件构件的实际功能和接口,实现与之对应的硬件模块的驱动分解。根据软件工程构件化设计，形成嵌入式系统的通用构件并且作为底层内部构件被其他底层外设构件所调用，实现嵌入式底层内部构件的可复用性与可移植性，形成终端嵌入式系统结构设计与实现模型。

本实用新型通过提供可重构网络媒体话机终端的嵌入式系统，事先按功能需求设计软硬件配置方案，并存储在重构控制器内部的存储器中；所述终端上电后，通过重构控制器将优化配置方案分时定位到目标可编程器件内，同时保持其它部分电路功能正常，以提高系统运行效率。所述终端在软件的驱动下，对FPGA芯片处理器的全部或部分逻辑资源重新进行动态配置，并匹配相应的应用中间件及配置操作提升性能，实现硬件时分复用、最大限度支持终端具备高实用性和可扩展性；

本实用新型利用可重构技术通过动态改变嵌入式系统配置来灵活满足多种功能需求。使设计目标终端产品无需重复设计多个应用的终端原型系统，只需通过中间件对系统进行配置，并可通过在处理器的指令集上实现多个计算任务的划分，实时实现不同的处理功能，达到一次芯片设计，多个功能实现，设计之初无需将所有功能加入产品中，新的功能可逐步添加，升级过程甚至无需用户参与.增加终端系统功能定义与应用的灵活性。

所述终端在运行时根据不同的计算任务实现不同的功能，在发挥软件效率的同时，又能充分利用系统软硬件资源。根据软件与可重构系统的关系，可以将可重构系统划分为不同的结构。适应各自结构的特点，将任务合理的分解为高效完成计算任务的基础。当硬件任务较多时，系统提供良好的算法来进行调度。最后，基于结构透明的设计开发平台，可以方便的利用可重构计算的强大能力。终端嵌入式软件:由一系列根据终端的功能应用需求而设计实现的GUI组件搭建而成，可以根据功能需求，方便的扩充和删减。这些组件基于Android操作系统以Java实现，具有较好的通用性。终端控制模块和协议控制模块交互，获得协议状态，控制Java虚拟状态机。

为此，本实用新型基于ARM和FPGA芯片的动态可重构模块化系统方案，充分利用FPGA内部逻辑可重构的特性，以满足系统的不同任务执行需求，采用的重构方法包括：

1)根据具体终端系统实现的原理模型与功能架构，规划硬件资源种类；

2)根据硬件资源种类修改FPGA内部逻辑，实现硬件层次的“重构”；

3)根据FPGA逻辑的变化，进行软件的开发，实现软件层次的“重构”；

4)将FPGA配置文件下载到ARM的存储器中，系统上电后，ARM结合需求通过读取相应存储区的配置文件对FPGA进行配置，实现终端系统的动态重构.

5)系统中可预先包含多个不同功能的配置文件，根据功能定义需要进行相应配置，实现在线更新FPGA功能，

所述终端根据以上嵌入式系统结构设计与实现模型，包括：可重构控制模块、可重构通信模块、通信、音频、视频和图形处理模块、其它外围电路、电源和接口模块等。模块化的中间件是居于可终端操作系统与应用程序中间的软件部分，它以应用程序接口API的形式存在，整个API集合被存储在终端的存储设备中。中间件封装了所有的业务接口，而只向终端提供一个统一的、规范化的接口，并覆盖该接口的控制方法，从而简化了终端的研发难度，实现了终端从业务请求、资源调度和信息传送的不同的功能实现机制和工作流程的标准化：

所述终端选用可重构嵌入式系统架构，通过开发修改嵌入式操作系统和借助中间件实现支持库、操作系统和驱动程序接口以及API功能，包括：

所述终端以Java为描述语言的方法(过程)级硬件透明编程完成模型设计。该编程模型基于软硬件协同方法库，并且支持动态软硬件划分。在该编程模型框架下，通过调用软件方法进行应用开发而无需理会底层的物理细节，以提高嵌入式系统开发效率。进一步，所述终端以嵌入式体系结构和软件实现方法完成开发详细流程。通过中间件有效屏蔽硬件逻辑功能的实现细节以及通信与同步的相关细节。同时预先设计好面向领域的软硬件方法库，从而减轻嵌入式系统开发工作量。

更进一步，所述终端实现运行时的Java虚拟机，实现该虚拟机根据终端软硬件划分结果动态加载并链接相应的硬件方法，支持硬件透明编程，改善系统性能，从而达到简化编译器和综合工具、提高自动化程度的目的。

基于终端性能、成本、用户需求等因素，实际的硬件系统采用基于双处理器的可重构控制架构解决方案，充分考虑开发平台可扩展性和跨平台性的问题，通过分层和抽象接口实现对底层硬件平台的独立性以及对不同网络交互协议和不同视音频编解码方案的可扩展性。在系统架构中，可重构控制模块集成两个处理器，以ARM核微处理器作为主控制器，基于FPGA芯片的处理器作为重构控制器配合主控制器工作，这两个处理器之间通过共享内存的硬件方式来进行通信，主要的初始化工作有2部分，分别由ARM和FPGA完成。

1)ARM执行的初始化工作，包括应用程序自举→应用程序执行ARM内部寄存器初始化→硬件自检→加载标志应用→(软件更新加载)→FPGA参数设定→应用软件加载及完整性正确性校验→控制权叫应用软件→应用软件初始化→应用软件运行。

2)FPGA执行的初始化工作。主要有FPGA内部寄存器和逻辑状态的初始值、内部缓冲区数据清零依靠复位信号来完成。其中的“FPGA参数设定”由应用程序负责执行或由FPGA使用缺省参数完成。数据融合格式、输入/输出码速率等FPGA参数存储在ARM的片内FLASH中的FPGA参数区中，上电或复位时有监控软件负责加载和初始化。

所述终端嵌入式硬件开发平台在底层设计的基础上,选择Android嵌入式操作系统,再进行相关驱动程序和上层应用程序的开发，向上提供应用编程接口(API)，向下屏蔽具体硬件特性的板级支持包BSP。通过所需接口与各自的开发系统相连,软件和硬件紧密配合，协调工作，共同完成系统预定的功能，通过终端的可重构嵌入式系统架构、设计接口与功能软件开发、软硬件集成优化，通过外挂适当的存储及其它外围器件、电路，并配置可重构通信模块，构成嵌入式开发平台，最终实现可重构网络媒体话机终端。

【有益效果】

可重构网络媒体话机终端目标定义为3C终端消费产品，主要用途是升级现有电话机和电视机、音响等盲终端，并部分替代家用PC，把网络提供的语音、数据和视频业务按照融合应用模式最终投放到终端上，提供给用户使用，用户只需沿袭传统的拨号操作，在实现PSTN和VoIP通讯的同时，可外接电视机提供IPTV、数字电视/VOD和媒体消息的呈现等服务，特别是它还能通过外接摄像头和移动硬盘，支持网络可视电话、3G互通和音像数字内容下载。除家庭应用外，通过改变业务应用的服务部署模式，还可提供统一消息(UMS)、多方通信/视频会议、媒体呼叫中心、在线电子商务等其它网络融合通信商用服务。

终端植入嵌入式可重构关键处理构件，总体技术框架及系统解决方案具有开放式、构件化、普适化特点：(1)对实时和多任务有很强的支持能力，能完成多任务并且有较短的中断响应时间，从而使内部的代码和实时操作系统的执行时间减少到最低限度；(2)强大的外围通用接口扩展功能，可以迅速地扩展出通用的硬件接口并实现通讯和控制覆盖；(3)嵌入式微处理器的功耗控制在较小的合理范围可从根本上达到终端功能灵活配置、设备量产的低成本需求，具有较好的可预期的应用前景。

可重构网络媒体话机终端核心处理器采用了ARM+FPGA芯片配置；软件采用了android应用框架的复用技术，可尽量屏蔽硬件架构的差异。软件架构设计充分利用Android操作系统提供的硬件支持能力和良好的跨平台特性。有利于实现GUI、多线程、文件管理等高级功能，被移植到了多个ARM嵌入式平台，对于其他类Linux的嵌入式操作系统也具有良好的兼容性。可减少终端嵌入式系统的重复开发代价。

可重构网络媒体话机终端以性能稳定的开放嵌入式android操作系统平台为基础，借助于成熟的专业中间件软件开发经验，软件设计对应的可控、可管和业务质量保障架构和机制。确保了程序开发的可靠性、简化了终端多功能信息交互应用软件实现的复杂程度。在可重构网络媒体话机终端嵌入式系统上关键技术的实现，解决了终端面向网络业务演进框架对业务接入和应用能力的匹配问题，并提供专业化、个性化的应用功能与接口的有效规划与覆盖选择,解决快速设计开发问题。

本实用新型的有益效果可以概括为：

1)终端采用可重构技术，通过嵌入式应用软件实现基于号码映射的融合通信业务创建、实现对IPTV、FMC、3G互通等三网融合重要业务应用的支持，实现终端嵌入式软件的架构设计、功能接口与基于SIP的VOIP/可视电话应用中间件和用户号码监控与管理中间件的开发、软硬件集成开发优化环境的研制并形成软件产品，加速三网融合等网络新业务应用的配套终端产品规模化部署和应用。

2)终端采用可重构技术，形成可传递动态数据，支持管理和控制之下的网络通信和协作终端最佳用户界面功能应用框架，充分利用软件算法来替代硬件模块以优化提升终端效率特性的新方法，通过聚合不同信息源和互动体验，提供一种安全、可升级、具有良好适应性的小型化和低成本全新终端实现模型。支持终端满足三网融合等网络新业务应用的多样性需求。

3)终端采用可重构技术，可利用开放操作系统平台开发面向电视机/音响等用电器终端、融合信息通信综合业务接入功能的，实现基于跨平台、开放标准的用户界面高度统一的嵌入式应用系统，实现终端应用程序的显示层次、焦点以及对硬件层次的协调管理。无需进行客户端的升级、扩展等操作，提供三网融合等网络新业务应用功能，灵活升级、扩展、改变的新支持方法，对网络嵌人式多媒体系统的设计与实现具有相当的借鉴意义.

4)终端采用可重构技术，可根据需要灵活配置硬件条件并针对软件系统定制一个中间件开发平台,利用可重构嵌入式解决方案开发平台的操作软件系统创建向导，开发出满足三网不同需求的系统功能、新建映象文件并将其下载到开发电路板中固化，可重构系统在性能上比现有的嵌入式系统要高出50％以上，并在多媒体处理方面提供强大的运行能力，并可以通过中间件下载方式实现应用支持功能远程更新。降低服务交付与应用成本；

本实用新型提出的可重构网络媒体话机终端，其功能定义灵活强大，可有效解决三网融合等网络新业务应用网络环境适配、平滑继承电话、电视操作习惯和业务安全性、内容以及收费模式等方面的问题。不仅可以大大节约终端产品的开发生产和推广应用成本，还具备为用户提供更多的综合信息和网络文化消费服务的能力。终端基于可重构技术的应用软件开发模式，使得更多的硬件厂商、应用程序开发商和中间件开发商都能参与到终端的研发生产中来，能在支持云计算引入网络业务融合、提供开放能力的前提下，可实现云系统和终端的标准化和互通化。有利于更多厂家参与产业链，可提供更丰富的业务应用，也有助于降低终端产品总体拥有成本，有助于建立健康的3C终端价值链，可以推动终端产品制造业和市场的快速发展。将创造终端产品和网络文化消费的巨大市场需求，有利于相关产业结构的调整，有利于增强我国未来在电子技术、信息通信领域的竞争力。

【附图说明】

图1：本实用新型可重构网络媒体话机终端的系统结构框图；

图2：可重构处理器程序和DSP任务间的关系；

图3：终端的硬件任务和软件任务的划分框图；

图4：本实用新型可重构网络媒体话机终端的硬件结构框图；

图5：本实用新型可重构网络媒体话机终端的软件结构框图；

图6：本实用新型可重构网络媒体话机终端的系统集成框图；

图7：本实用新型可重构网络媒体话机终端的工作流程框图。

【具体实施方式】

本实用新型可重构网络媒体话机终端：所述终端嵌入式系统包含硬件和软件两部分，所述终端嵌入式系统基于嵌入式双处理器为核心的基础上进行扩展，联接存储器、总线、串口、网络乃至IO口，形成了一个要素、接口功能完备的嵌入式主板。是能够同时进行网络信息通信的3C终端设备，具备多种网络融合业务应用的交互和展现能力，具备较强的处理能力以完成信息编解码以及媒体通信。所涉及的主要背景技术包括嵌入式硬件技术和嵌入式软件技术两大部分，其中，更为重要的是嵌入式可重构系统技术。

可重构网络媒体话机终端，基于嵌入式系统开发的类PC终端将不仅只有单纯的语音和视频功能，将融合更多的业务应用。可重构网络媒体话机终端的关键技术涉及语音、音视频的解压缩、编解码技术协议和相关网络通信和媒体。嵌入式系统框架接口负责用户人机界面功能及信令交互，功能模块完成终端的三网融合相关应用与增值功能。为简化系统解决方案的实现，终端采用高度优化和集成的可重构嵌入式系统，通过软件提供必要的媒体处理算法以及基于呼叫通讯的控制，取消V终端系统承载与控制功能原本所需的各项单独开发工作和工具链，以获得更低功耗、更小体积和总体更低的成本，快速集成到最终具体实现方案中。

图1为本实用新型可重构网络媒体话机终端的结构框图，系统的基本结构包括：可重构控制模块、可重构通信模块、通信、音频、视频和图形处理模块、其它外围外围电路、电源和接口模块等。模块化的中间件是居于可终端操作系统与应用程序中间的软件部分，它以应用程序接口API的形式存在，整个API集合被存储在终端的存储设备中。中间件封装了所有的业务接口，而只向终端提供一个统一的、规范化的接口，从而简化了终端的研发难度，实现了终端从业务请求、资源调度和信息传送的不同的功能实现机制和工作流程的标准化：

所述终端选用可重构嵌入式系统架构，通过开发修改嵌入式操作系统和借助中间件实现支持库、操作系统和驱动程序接口以及API功能，整个API集合被存储在终端的存储中。中间件封装了所有的业务接口，而只向终端提供一个统一的、规范化的接口，具体实现中，围绕用户代码的主线程有四个部分：输入源数据、输出结果、算法处理实体、用户界面(GUI)。系统底层以嵌入式实时操作系统为基础，通过构建系统框架结构协调各部分工作流程，并对媒体通信和业务处理提供相应的应用程序接口VISAAPI，另外对外设接口提供应用程序接口EPSIAPI。从而简化了应用软件的研发难度，实现了终端功能的可重构和标准化。

图2描述了可重构处理器程序和DSP任务间的关系:终端嵌入式系统采用一种独特的双处理器结构，把高性能FPAG处理器与控制性能强的ARM微处理器结合起来，成为高度整合性SoC，形成开放式的、可编程的基于DSP的体系结构。应用DSP/BIOS桥。使双核结构的两个处理器无缝工作，这是实现终端体系结构实现可重构的关键。

终端系统设置与连接应用将主要要通过两方面完成：一，以任务的抽象机制为基础，利用其地址空间的控制功能以提供必要的隔离性。二，对软硬件任务进行划分、控制机制进行增强，形成特殊的虚拟机处理线程，用以实现每个处理功能。见图3：终端的硬件任务和软件任务的划分框图。

本实用新型的具体实施，将借助于成熟的可重构嵌入式系统解决方案/套件，获得完整的平台系统、包括以下步骤：

1)加载驱动程序到内核；

2)创建一个虚拟文件作为驱动程序参考；

3)用文件系统放置驱动程序；

4)用打开、读取、写入和关闭方式进入资源。

在系统处理和功能接口的设计中，输入输出(I/O)驱动程序是非常繁琐的工作。在嵌入式可重构系统开发工具/套件中，基于linux的android软件内核有助于I/O问题的解决，这一部分的工作强度可大大简化。

基于成熟的开发工具/套件终端的嵌入式系统解决方案：采用双核并行处理器、嵌入式系统驱软件+功能中间件的软件平台的架构，通过完整的可重构系统多个处理单元开发的参考设计，可以确保关键技术的实现。

本实用新型框架接口(FrameworkInterfaces)提供可重构嵌入式系统功能接口，实现基于号码映射网络融合业务应用的可配置创建、重构提供对IPTV、DVB-C、FMC、3G互通等重要业务应用的支持，以软件实现3C功能接口定义与基于SIP的VOIP/可视电话应用中间件、用户号码监控与管理中间件，通过优化软硬件任务划分及建立可重构系统开发集成环境，最大限度的发挥终端对网络环境适配、媒体交互操作以及信息通信业务控制等支持功能；

本实用新型框架接口：根据需要灵活配置硬件条件并针对软件系统定制一个中间件开发平台,利用可重构嵌入式解决方案开发平台的操作软件系统创建向导，设置可重构网络通信及人机交互的多种接口组合，完成并拓展终端不同逻辑功能的实现，并匹配相应的操作接口以获得系统的高性能，形成基于动态加载模块功能组合的终端，针对重构功能应用需求，充分考虑了各种场合需要使用的存储空间、接口、成本等各方面的因素，以可重构嵌入式设计较好地降低总体开发成本，实现终端性价比的平衡；

本实用新型关键组合：基于可重构模型的嵌入式系统框架，针对终端应用需求设置系统以双核处理器ARM+EPGA为核心的可重构硬件体系结构、并对嵌入式软件的复杂度进行分解、合成、叠加、聚类、分析等设计，集成开发出满足不同应用需求的系统重构功能、硬件采用了ARM+FPGA配置芯片；软件采用了android操作系统的复用技术。为减少网络媒体话机终端软件系统的重复开发，尽量屏蔽硬件架构的差异。终端的软件架构设计充分利用Android操作系统提供的硬件支持能力和良好的跨平台特性。有利于实现GUI、多线程、文件管理等高级功能，通过软硬件重构集成，并将新建映象文件下载到开发电路板中固化，提高执行效率。动态可重构FPGA在程序运行中动态完成FPGA的不同配置电路功能，在不同时段执行不同的算法，实现了虚拟硬件可重构计算技术。可重构系统在多媒体处理方面提供强大的运行能力，覆盖相关功能的接口控制方法，并通过中间件下载方式实现应用支持功能远程更新。

本实用新型的具体实施解决方案包括：可重构网络媒体话机终端系统的嵌入式软硬件设计、功能开发和产品集成。考虑到终端应符合功能可配、接口灵活、运行高效、便于控制、性价比合理，以及生产成本、实现的难易程度、市场推广、产品的升级更新等诸多要求，具体实施确定的终端开发平台实现方案为：ARM+FPGA处理器结合Android操作系统，包括多个处理单元的模块化结构开发环境配置。

本实用新型的硬件架构：

图4为本实用新型可重构网络媒体话机终端的硬件结构框图，按照终端的功能需求定义配置目标可编程器件。它主要包括ARM处理器、FPGA处理器、FLASH存储器和对外总线接口，主处理器采用ARM9内核S3C2410A芯片，从处理器采用TI公司的TMS320C6211DSP芯片。

1)ARM处理器选用Samsung公司的ARM9内核芯片S3C2410A，其主要功能是实现双处理器接口的FPGA读取FLASH存储器中的重构方案，实现在系统配置；

2)FPGA协处理器选用TI公司的TMS320C6211DSP芯片，基于非易失性存储的FPGA，自身带有PROM，作为外部总线和ARM控制器之间的双端口，主要功能是实现双处理器DSP控制器时序，完成配置方案数据的并串转换并输出至外部总线；

3)FLASH存储器容量为32M×16b，用于处理器的上电引导、存放多种重构配置方案。，FBGA封装；

4)外部总线接口，可采用多路驱动接收器，实现和外部通信的接口，分别控制目标多个FPGA的重构配置和反馈重构信息。

核心处理器S3C2410内部集成了ARM公司ARM920T处理器核的32位微控制器，带独立的16KB的指令Cache和16KB数据Cache、LCD控制器、RAM控制器、3路URAT、4路DMA、并行I/O口、2路SPI等，主频最高可达203MHz。负责系统控制管理和数据传输等任务，通过相应的外设可以实时显示或相应处理，TMS320C6211处理器外设接口丰富，并进行相关的配置和扩展，增加了8MBl6位的FLASH和16MB32位的SDRAM；ARM处理器选择通用外部接口GPIO(GeneralpurposeI/O)的PortC端口16根数据线与FPGA接口HPI(HostPortInterface)相连接，实现数据交换和信息传输。ARM在接收到数据后，根据需要做出相应处理；FPGA与DSP协调通过中断的方式定时向ARM单元提出数据传输申请，经响应后将数据传输给各功能单元，进而传输到网络。控制模块中，外接Flash和SDRAM，加上处理器自带的内存，可充分满足嵌入式操作系统的移植和数据存储的需求。控制模块可通过USB口与外设或上位机实现数据交换与系统移植，利用专用的JTAG调试接口实现功能调试。另外，可以利用GPIO外接多种不同的设备，也可以通过自带的网口连接到网络或通过增加设置以太网控制器芯片DSP扩展可重构通信处理模块和网络适配接口。

为了提高设计和应用的灵活性，硬件设计上采用核心板加底板的模块化集成方法，在核心板上集成Samsung公司的ARM9内核芯片S3C2410A处理器和TI公司的TMS320C6211DSP芯片处理器。基于ARM946E-S双核DSP处理器，通过底板扩展外部功能，并将其丰富的外设接口资源引出。外围电路包括网络接口、接收电路、发送电路及与DSP的接口电路，可在底板上扩展出功能模块接口、功能应用接口、外设接口等，并覆盖接口控制方法，以实现终端系统内外部间的数据传输和通信。

本实用新型的软件架构：针对系统软件可移植性、可扩展性、灵活性和可维护性的需求，结合终端软硬件组成和功能特点，终端的软件架构以开放操作系统为核心，根据系统硬件结构和系统功能设计加以扩充。选择Android作为嵌入式操作系统，Android是一个相对成熟的商业性的嵌入式操作系统，适合可重构复杂应用，具有执行效率高、占用空间小、实时性能优良等特点；系统硬件驱动采用ARM+EPGA处理器SDK和DAX设备驱动程序。

图5：本实用新型可重构网络媒体话机终端的软件结构框图，基于Android作为嵌入式操作系统软件架构分为4个层次，即资源层、中间件层、业务无关程序层和应用层

1)资源层：包含操作系统和硬件驱动程序。资源层透明地将各种资源提供给中间件层。

2)中间件层：由一组可重构定义的中间件核心应用与应用服务程序模块实现。中间件层提供了一个统一的底层资源层抽象视图，应用程序不直接访问资源，而是通过中间件层实现对资源的调用。

3)业务无关程序层：包括各种直接运行在操作系统之上，与应用业务无关的程序，如DHCP、PPPoE接入认证程序等。程序直接运行在OS之上，可以提高运行效率。这些程序在引入新的终端设计时要进行移植，但这些程序通常具有业务无关性，遵循通用的接口协议，因此能做到快速移植。

4)应用层：提供可重构设置的人机交互应用和通信接口处理程序。

设备驱动采用DAX驱动程序作为管理设备的软件模块。DAX驱动模块由DAX头文件和DAX函数组成。DAX_Params作为配置工具设备驱动对象的属性。每个设备驱动模块同时还需要一个控制模块，控制模块由外部函数bind、start、stop和unbind等组成，通过DAX_Params参数结构和配置工具配置控制器。其中，控制器的bind(unbind)函数负责绑定(解除绑定)设备驱动模块对设备端口的控制。控制器的start函数负责调用流SIO_get时打开设备端口，也就是打开McBSP的接收和发送中断使ISR中断服务线程正常运行。控制器的stop函数使停止中断运行并关中断。

可重构网络媒体话机终端软件系统应用程序运行于Android操作系统之上，采用层次结构，在生成SDK的基础上,可进入系统软件的设计。在这里，软件的开发设计与通常的嵌入式系统的开发设计相类似，唯一不同点在于这时面对的嵌入式系统是自己定制的、裁剪过的，因此，受到硬件的局限性会小些，可使用Java来进行嵌入式程序设计及第三方工具进行程序的编译连接以及调试。整个系统除了A/D、D/A转换器和控制选择键盘外接外，其余都在一片编程芯片中。由于有ARM-FPGA，因此既可自定义指令，也可通过总线自定义各种接口模块组件，使整个DSP系统的使用灵活多样，使底层的硬件对上层软件透明，增加和替换硬件不用修改高层的软件，上层软件修改时不必了解硬件的结构，升级和扩展起来十分方便。

本实用新型的系统集成：本实用新型可重构网络媒体话机终端的系统功能结构就是基于上述基本概念及其抽象模型，依据的目标应用功能的实现逻辑设计的，通过将各个独立的功能系统进行可重构集成，系统的基本结构包括：可重构控制模块、可重构通信模块、通信、音频、视频和图形处理模块、其它外围电路、电源和接口模块等。模块化的中间件是居于可终端操作系统与应用程序中间的软件部分，中间件协议结构由两部分组成：是信令协议栈和应用业务协议栈。信令协议栈包括高层信令层、数据链路层(分成LAC子层和MAC子层)以及物理层。其中高层信令层主要描述了信令结构、安全认证、信令控制和应用、消息格式等；LAC子层提供信令传输的可靠性保证，包括鉴权、ARQ、功用、分割重装等；MAC子层完成逻辑信道业务的复分接以及QoS控制等功能；应用业务协议栈包括多媒体视频/音频编解码器、实时传输协议(RTP)、呼叫控制信令协议、TCP/IP、PPP等。它以应用程序接口API的形式存在，整个API集合被存储在终端的存储设备中。中间件封装了所有的业务接口，而只向终端提供一个统一的、规范化的接口，物理层实现数据编解码和调制解调等物理信道的处理。从而简化了终端的研发难度，实现了终端从业务请求、资源调度和信息传送的不同的功能实现机制和工作流程的标准化；

本实用新型可重构网络媒体话机终端的系统集成框图见图6，电路板基于总线结构，采用集成Samsung公司的ARM9内核芯片S3C2410A处理器和TI公司的TMS320C6211DSP芯片处理器开发方案，系统基于嵌入式Android操作系统完成开发。

本实用新型的工作流程实现：可重构网络媒体话机终端，以ARM核微处理器作为主控制器，以FPGA芯片处理器作为重构控制器配合主控制器工作，外挂适当的存储及其它外围器件、电路，构成嵌入式硬件系统；采用Android操作系统，以中间件定义通信、媒体处理功能及应用接口，构成嵌入式软件系统；事先按功能需求设计软硬件配置方案，存储在重构控制器内部的存储器中；所述终端上电后，通过重构控制器将优化配置方案分时定位到目标可编程器件内，同时保持其它部分电路功能正常，以提高系统运行效率。所述终端在软件的驱动下，对FPGA芯片处理器的全部或部分逻辑资源重新进行动态配置，ARM与FPGA之间的通信通过处理器的外设多通道缓冲串行口(McBSP)实现闭环测试。简单的交互处理系统由采集线程和播放线程两个应用任务组成。每个应用任务分别对应一个输入SIO和一个输出SIO流，通过两个半双工通道(一个输入，一个输出)来访问连接到处理器的DSP多通道缓冲串行口。另外，在两个任务之间的数据交换通过DPI设备驱动完成，处理器匹配相应的应用中间件及配置操作提升性能，实现硬件时分复用、最大限度支持终端具备高实用性和可扩展性。

本实用新型可重构网络媒体话机终端的工作流程参见见图7：用户界面负责访问交互、控制整个系统的协同工作以响应用户的命令，同时负责支持终端业务应用。可重构通信模块负责与具体的网络或外界设备进行交互，实际完成数据的发送和接收。

语音通信处理部分由语音编码模块和语音解码模块组成以支持语音通信业务。媒体通信处理部分由视频/图形采集模块、视频/图形编解码模块组成，解码后的图像交由图形用户界面展现。控制模块将数据合路轮询所有的数据源，并组装数据包交给通信模块发送。控制模块合路功能按照一定的顺序遍历所有的数据源。每次获取数据的过程，都是对某个共用缓冲区的访问过程，都进行了对互斥锁的加锁和解锁的操作；每个数据包的发送过程，也是将数据包写入一个共用缓冲区，也进行互斥锁的加锁和解锁的操作。控制模块数据分路负责解析数据包，将接收到的数据分发到各个功能处理模块中去。控制模块分路功能将数据从字节流中分离出来，并根据荷载标识将数据分发到各功能处理模块中去。媒体处理部分利用双核处理器建立实时多任务系统。另外在终端中引入了可重构通信模块，能够统一对终端设备的通信处理资源进行管理，分配通过自带的网口连接到网络或通过增加设置以太网控制器芯片DSP扩展其它网络适配接口。本实用新型的工作流程实现包括以下特性：

1)工作流程的综合性：终端借助于可重构嵌入式系统，网络融合的主要服务(如语音、文体/图像、视频资源等)提供业务应用的承载和控制。

2)工作流程的交互性：终端借助于可重构嵌入式应用软件，采用相应的适配硬件接口，可提供终端与基于网络应用环境的服务交互能力和用户业务应用功能接口。

3)工作流程的同步性：终端借助可重构于嵌入式集成技术，可支持终端上显示的多媒体图像、声音、文档以同步方式工作，实现键盘、屏触与遥控操作的同步，将语音、数据、视频的同步处理功能融为一体。

本实用新型的系统设计指标

硬件配置：

1)DSP芯片：集成Samsung公司的ARM9内核芯片S3C2410A处理器

2)FPGA芯片：TI公司的TMS320C6211DSP芯片处理器

3)内置RAM存储器：256DDR(最大512M)

4)内置ROM存储器：1G-8GNandFlash(标准)，最大可支持2G

5)显示：TFT-LCD真彩触摸屏，屏幕尺寸：5-8寸(可选)，分辨率：800x480

6)网络：TCP/IP可以选择LAN、DSL、CabieMorden(可选)

7)WiFi/3G/4G无线网：RT2870WirelessAdaptor(802.11b)/EVDO3G/4G(可选)

8)接口：USB2.0可与电脑同步拷贝文件，USBOTG可驳接移动硬盘

9)按键：主菜单键、功能键，返回，电源键、可外接

10)音效：3.5mm标准耳机接口、立体声喇叭接口

11)TF卡：TFCard卡槽，最大可支持16GB

12)电源：外接220V采用适配器

软件配置：

1)操作系统：Android4.0以上

2)系统程序：S3C2410A、TMS320C6211处理器带SDK开发包和接口驱动damo程序；设备驱动采用DAX驱动程序作为管理设备的软件模块；

3)访问界面：嵌入式浏览器；

4)扩展方式：可重构嵌入式系统的模块动态加载程序

5)升级方式：USB、SDCARD、连网远程升级

6)配置方式：USB、RS232接口

7)工作流程：软件采用Java语言编写代码实现各个功能模块，配置完成后，通过软件运行流程实现整个系统功能。

①终端的应用流程——实现用户层的键盘拨号/屏幕触控、业务呼叫、电话接听/挂断、接口等应用操作。

②接口的运行流程——完成接口层的两个功能：作为应用层和传输层的接口—建立套接字(SOCKET)、拥有调用模块层各个模块的接口函数。

③模块的配置流程——支持系统的核心层应用包括：通信模块、数据传输模块、语音和音视频编解码模块等。其中：通信模块实现DTMF与OSIP协议栈的3个模块:解析器、有限状态机和工具模块。数据传输模块使用UDP协议，用RTP/RTCP进行实时传输和控制、语音模块和音视频模块分别完成语音和音视频的采集与编解码。

8)流程管理：

①日志：软件工作流程自动跟踪终端系统的功能执行和性能，提供应用记录日志；

②监控：软件工作流程能够发现出现的问题和异常情况，并且快速进行调整和优化；

③版本控制：软件工作流程识别升级请求，使用转换规则把终端系统自动迁移到新版本中。

④异常管理：软件工作流程启动后，提供跟踪和处理终端系统出现的异常的能力。

系统功能:

视频编解码：支持H.264、H.263/mp4,3gp,avi,flv,mkv,mov

音频编解码：支持mp3,ogg,wav,mid

语音编解码：支持G.711a、G.711u、G.729

图像格式：支持jpeg,gif,png,bmp

操作界面：支持数字/中英文/符号键盘输入，屏幕触控参数设置/调用

网络协议：支持TCP，UDP，RTP，RTSP/DVB-C/DHT-P2P。

支持功能：

1)网络通信：

①DTMF通信——支持PSTN电话

②SIP通信——SIP2.0(含MENU号码翻译)

③P2P通信——支持P2P语音/视频电话/消息分发

2)网络媒体：

①IPTV：支持EPG交互IPTV流媒体的解码/播放

②DVB-C+IPTV：支持EPG交互DVB-C与IPTV的解码、播放

③PUSHTV：支持EPG引导音视频流媒体的解码，播放

④视频播放：制式自动，25-30桢/S、分辨率：D1/720P、视频码率768k～3Mbps无抖动。

接口功能

1)音视频接口：HDMI高清音视频、视频接口、3.5mm耳机立体声音频接口

2)USB接口：支持USB2.0/USB高速数据接口

3)SD接口：支持外接SD卡/硬盘接口

4)网络接口：

①提供10M自适应(LAN、PC)RJ45×2、WIFI、RJ11

②提供RF(10-100MFEC)、10M自适应(LAN、PC)RJ45

③提供10M自适应(LAN、PC)RJ45×2、、RJ11

5)本机接口：电话手柄/HOMERF子机接口、300万摄像头、7寸TFT触控彩屏

6)拨号键盘：16位键盘(开关键、静音/音量、菜单键和域标识控制等功能键)。

处理功能

1)易用性：软件易安装、用户界面友好、符合使用习惯，提供联机帮助，软件操作方便

2)可靠性：自启动/恢复：支持终端设备即插即用/断电重启，能屏蔽用户操作错误

3)管理/升级：密码与权限管理；采用远程注册验证模式：支持软件自动刷新

4)稳定性：支持网络有效性检查、诊断/QoS自适应、系统状态查询/自动纠错

5)可扩展性：预留开放式接口，可对终端系统功能进行扩充、定制

6)符合性：有效性、安全可靠性指标合乎国家/国际和行业相关标准。

Claims (3)

1.可重构网络媒体话机终端，所述终端嵌入式系统基于嵌入式双处理器为核心的基础上进行扩展，嵌入式双处理器包括DSP核与ARM微处理器核，ARM微处理器核包括ARM核微处理器作为主控制器，以FPGA芯片处理器即DSP核作为重构控制器，与嵌入式双处理器连接的是总线、存储器、串口、网络IO口、视频输入/输出单元、视频编解码器、语音输入/输出单元、语音编解码器、延时单元、系统控制单元、多媒体数据复用/解复用单元和网络接口单元。

2.根据权利要求1所述的可重构网络媒体话机终端，其特征是，所述视频输入/输出单元、视频编解码器、语音输入/输出单元、语音编解码器、延时单元、系统控制单元、多媒体数据复用/解复用单元和网络接口单元与外围器件连接，外围器件包括AV、触摸屏/键盘、SD、USB、RS232、LCD、CCD器件。

3.根据权利要求1所述的可重构网络媒体话机终端，其特征是，嵌入式双处理器采用Samsung公司的ARM9内核芯片S3C2410A处理器和TI公司的TMS320C6211DSP芯片。