CN104767957A

CN104767957A - 基于嵌入式双核处理器的视频采集编码方法、系统及装置

Info

Publication number: CN104767957A
Application number: CN201510164521.5A
Authority: CN
Inventors: 卢成; 张帅; 张宇; 宋玉玲; 高振海
Original assignee: Nanyang Normal University
Current assignee: Nanyang Normal University
Priority date: 2015-04-09
Filing date: 2015-04-09
Publication date: 2015-07-08

Abstract

本发明公开了一种基于嵌入式双核处理器的视频采集编码方法，该方法包括：启动音视频采集装置进行音视频采集，将获得的音视频信号经音视频解码器解码为数字音视频信号，ARM内核利用DSP/BIOS Link将得到的数字音视频信号传送给DSP内核；DSP内核利用H.264编码器对音视频流进行H.264编码，再将编码后的数字音视频信号流回传至ARM内核；ARM内核基于嵌入式Linux操作系统的RTP/RTCP协议栈，将数据打包发送。通过实施本发明的方法，可快速高效的将音视频文件进行编码发送，降低音视频数据传输对网络及其它硬件的要求。

Description

基于嵌入式双核处理器的视频采集编码方法、系统及装置

技术领域

本发明涉及计算机通信领域，更具体地说，涉及一种基于嵌入式双核处理器的视频采集编码方法、系统及装置。

背景技术

我们在生活中的信息最广泛来源于视觉，根据数据统计显示，人类通过视觉获取的信息大约占70%，图像带给人们的信息更直观和高效。比如说我们用语言向别人描述一样物品时，我们只能通过一系列语言才能说明物品的结构和特性，也许说了很多而对方却还是不明了之。如果我们把物品或图像展现在对方的面前时，一眼即明了，视频信息给人印象深刻、具体的信息，更容易让人接受，所以视觉信息在多样信息中占有非常重要的地位。然而图像或视频信息占用的频带是比较宽的，如果没有经过处理，尤其是活动图像，用于存储和网络传送都需要很大的带宽。比如一幅高清晰度电视信号的分辨率为1280*1024 的图像，采用RGB格式一般为24位真彩色，图像的深度为8，我国采用PAL 制的视频帧率25帧/s，图像未经压缩则需要1280*1024*3*25/(1024*1024*1024)＝0.72Gbit/s。CCIR601建议的电视国际标准为，数字电视的分量编码亮度信号和色度信号在抽样频率分别为13.5MHz和6.75MHz，并采用8bit量化时，电视信号的总码率=13.5*8+2*6.75*8=216(Mbit/s)。由于视频源视频数据有着比较大的时间冗余度、空间冗余度和频域冗余度等，使得视频信息不管是用于存储还是网络传输，对存储介质的容量和带宽都提出了不可实现的要求，因此如何对视频信息进行压缩，使得压缩视频信息能以较高效率传输，是现有技术亟待解决的问题。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于嵌入式双核处理器的视频采集编码方法、系统及装置。

本发明解决其技术问题所采用的技术方案是：构造一种基于嵌入式双核处理器的视频采集编码方法，该方法包括：

启动音视频采集装置进行音视频采集，将获得的音视频信号经音视频解码器解码为数字音视频信号，ARM内核利用DSP/BIOS Link将得到的数字音视频信号传送给DSP内核；

DSP内核利用H.264编码器对音视频流进行H.264编码，再将编码后的数字音视频信号流回传至ARM内核；

ARM内核基于嵌入式Linux操作系统的RTP/RTCP协议栈，将数据打包发送。

在本发明所述的方法中，该ARM内核基于嵌入式Linux操作系统的RTP/RTCP协议栈，将数据打包发送的步骤之后还包括：

接收端接收编码后的数字音视频信号并解码为数字音视频信号；

将数字音视频信号编码为音视频信号进行播放。

在本发明所述的方法中，该数据打包发送方法包括：

将编码后的数字音视频信号数据打包，并允许Web服务器，等待即受到通过网络访问数据流。

在本发明所述的方法中，该双核处理器为OMAP-L138，该OMAP-L138包括ARM内核和DSP内核。

在本发明所述的方法中，ARM内核负责音视频解码器控制、数据交换、网络传输；DSP内核运行H.264压缩编码算法对采集进来的音视频信号进行处理。

在本发明所述的方法中，音视频解码器将音视频采集装置输出的PAL/NTSC格式的音视频信号转换成BT656格式的数字视频信号，然后通过CAM接口送给OMAP-L138进行编码；

音视频解码器将视频采集装置输出的数字音频信号则通过McBSP接口传送给OMAP-L138进行编码。

为解决上述技术问题，本发明还提供了一种基于嵌入式双核处理器的视频采集编码系统，该系统包括：

音视频采集装置：用于进行音视频采集；

音视频解码器：用于将音视频采集装置获得的音视频信号解码为数字音视频信号；

ARM内核：用于利用DSP/BIOS Link将得到的数字音视频信号传送给DSP内核，并基于嵌入式Linux操作系统的RTP/RTCP协议栈，将数据打包发送；

DSP内核：用于利用H.264编码器对音视频流进行H.264编码，再将编码后的数字音视频信号流回传至ARM内核。

为解决上述技术问题，本发明还提供了一种基于嵌入式双核处理器的视频采集编码装置，该装置包括上述的基于嵌入式双核处理器的视频采集编码系统。

实施本发明的基于嵌入式双核处理器的视频采集编码方法、系统及装置，具有以下有益效果：通过实施本发明的方法，可快速高效的将音视频文件进行编码发送，降低音视频数据传输对网络及其它硬件的要求。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明基于嵌入式双核处理器的视频采集编码方法的示意图；

图2是本发明基于嵌入式双核处理器的视频采集编码系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

如图1所示，在本发明基于嵌入式双核处理器的视频采集编码方法的第一实施例中，该方法包括：

通过实施本发明的方法，可快速高效的将音视频文件进行编码发送，降低音视频数据传输对网络及其它硬件的要求。

进一步的，该ARM内核基于嵌入式Linux操作系统的RTP/RTCP协议栈，将数据打包发送的步骤之后还包括：

将数字音视频信号编码为音视频信号进行播放。

在本发明所述的方法中，该数据打包发送方法包括：

进一步的，该双核处理器为OMAP-L138，该OMAP-L138包括ARM内核和DSP内核。

进一步的，ARM内核负责音视频解码器控制、数据交换、网络传输；DSP内核运行H.264压缩编码算法对采集进来的音视频信号进行处理。

进一步的，音视频解码器将音视频采集装置输出的PAL/NTSC格式的音视频信号转换成BT656格式的数字视频信号，然后通过CAM接口送给OMAP-L138进行编码；

如图2所示，本发明还公开了一种基于嵌入式双核处理器的视频采集编码系统，该系统包括：

音视频采集装置：用于进行音视频采集；

进一步的，系统将模拟摄像机（Analog camera）采集的 PAL 制式的模拟视频信号进行硬解码，在处理器内将解码后的数字图像数据进行 H.264压缩编码，然后基于嵌入式Linux操作系统的RTP/RTCP协议栈实现了网络通信，将压缩后的图像数据发送到网络（Internet）最终传输到远程的客户端（Target PC）。客户端通过对嵌入在Web 服务器网页中的 java applet 程序的下载，解释执行来接收网络上的监控图像数据并在网页上进行显示。

系统前端的视频输入采用模拟CCD摄像头，由于CCD摄像头输出信号为模拟信号，处理器不能直接处理，所以使用视频解码器完成视频信号的数字化，考虑到产品的兼容性，视频解码芯片选择视频解码器TVP5158，该芯片可接收4路复合输入或8路独立的摄像输入，其内部还集成了4路的音频模数转换器。系统的视频输入是8路视频输入，采用交错模式传输，需要2个TVP5158 进行级联连接构成1个8路视频解码器。OMAP-L138通过I2C接口、McBSP接口对TVP5158进行音视频参数设置，TVP5158负责将摄像头输出的PAL/NTSC格式的模拟复合视频信号转换成BT656格式的数字视频信号，然后通过CAM接口送给OMAP-L138进行相应的处理。TVP5158输出的数字音频信号则通过McBSP接口传送给OMAP-L138进行相应处理。由于OMAP-L138内部集成有Audio接口，所以外部SPK与MIC可直接与Audio接口连接。

系统的存储器模块分为两部分，第一部分是主存储器，采用的是MT29C1G24MADLAJA-6 IT，其芯片内部集成了128MB的DDR和128MB的NandFlash，OMAP-L138通过SDRC与GPMC接口与之进行连接。NandFlash用于固化程序，每次上电都从Flash启动；DDR则作为整个硬件系统的工作内存，由ARM和DSP共享使用。第二部分是辅助存储器，系统使用了MMC_1接口外接SD卡，用于存储Linux操作系统的图形界面和应用程序；使用MMC_2接口外扩了一块硬盘（Hard Disk），可以将编码后的视频数据保存到硬盘设备中，等待客户端随时读取。

系统的网络通信芯片选择的是SMSC公司的LAN9211，该芯片支持多种处理器接口，支持快速以太网10 / 100 Mbps网络传输速度，其内部用于接收及发送数据FIFO的有16kB，另外还集成了CSMA / CD协议的MAC与PHY，符合IEEE 802.3/802.3u标准。由于OMAP-L138的GPMC接口同时外接了Flash和LAN9211，即二者共用了数据线和地址线，所以需要通过总线隔离器将二者隔离开，系统采用两片Philips公司的74ALVC164245芯片作为总线隔离器，连接在Flash和OMAP-L138、LAN9211和OMAP-L138中间，通过GPMC的控制总线，如GPMC_NCS6、GPMC_NOE、GPMC_NWE等，与地址总线配合进行控制，以便处理器在使用其中一个器件的同时另一个器件对外呈现高阻态。

系统采用电源管理芯片TPS65930配合OMAP-L138工作并承担一定的任务，它们之间通过I2C总线进行通信。TPS65930功能强大，内部集成了众多组件，不但提供系统所需要的时钟、各种电源，还提供双通道音频编解码器与驱动器、各种监控特性、电池充电器、LED驱动器、10位3输入模数转换器、带集成5V电源的高速USB收发器、I2C通信接口等。因为TPS65930内置了Audio编解码器，所以系统输入/输出的Audio信号的编解码工作由其完成。由于OMAP-L138内部集成有Audio接口，所以外部SPK与MIC可直接与Audio接口连接。

本发明还公开了一种基于嵌入式双核处理器的视频采集编码装置，该装置包括上述的基于嵌入式双核处理器的视频采集编码系统。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种基于嵌入式双核处理器的视频采集编码方法，其特征在于，所述方法包括：

启动音视频采集装置进行音视频采集，将获得的音视频信号经音视频解码器解码为数字音视频信号，ARM内核利用DSP/BIOS Link将得到的数字音视频信号传送给DSP内核；DSP内核利用H.264编码器对音视频流进行H.264编码，再将编码后的数字音视频信号流回传至ARM内核；ARM内核基于嵌入式Linux操作系统的RTP/RTCP协议栈，将数据打包发送。

2.根据权利要求1所述的方法，其特征在于，所述ARM内核基于嵌入式Linux操作系统的RTP/RTCP协议栈，将数据打包发送的步骤之后还包括：接收端接收编码后的数字音视频信号并解码为数字音视频信号；将数字音视频信号编码为音视频信号进行播放。

3.根据权利要求1所述的方法，其特征在于，所述数据打包发送方法包括：

4.根据权利要求1所述的方法，其特征在于，所述双核处理器包括ARM内核和DSP内核。

5.根据权利要求4所述的方法，其特征在于，ARM内核负责音视频解码器控制、数据交换、网络传输；DSP内核运行H.264压缩编码算法对采集进来的音视频信号进行处理。

6.根据权利要求5所述的方法，其特征在于，音视频解码器将音视频采集装置输出的PAL/NTSC格式的音视频信号转换成BT656格式的数字视频信号，然后通过CAM接口送给双核处理器进行编码；

音视频解码器将视频采集装置输出的数字音频信号则通过McBSP接口传送给双核处理器进行编码。

7.一种基于嵌入式双核处理器的视频采集编码系统，其特征在于，所述系统包括：

音视频采集装置：用于进行音视频采集；

8.一种基于嵌入式双核处理器的视频采集编码装置，其特征在于，所述装置包括如权利要求7所述的基于嵌入式双核处理器的视频采集编码系统。