CN102724395A

CN102724395A - 一种采用双核控制的网络摄像机

Info

Publication number: CN102724395A
Application number: CN2012102140110A
Authority: CN
Inventors: 汤志伟; 江洪; 沈冬青; 李万才; 梅林�; 齐力; 李震宇; 杨明
Original assignee: Third Research Institute of the Ministry of Public Security
Current assignee: Third Research Institute of the Ministry of Public Security
Priority date: 2012-06-26
Filing date: 2012-06-26
Publication date: 2012-10-10
Anticipated expiration: 2032-06-26
Also published as: CN102724395B

Abstract

本发明公开了一种采用双核控制的网络摄像机，包括网络摄像机硬件系统、嵌入式软件和网络服务中心；所述网络摄像机硬件系统的核心为主控芯片，主控芯片通过接口连接有图像采集装置、数据传输接口装置、存储装置和电源；所述网络服务中心通过数据传输接口装置与网络摄像机硬件系统连接，所述主控芯片包括通过相互的中断来实现通信的DSP核和ARM核，DSP核用于搜集、分析和处理图像采集装置获取的图像数据，ARM核用于实现接口的控制功能，向DSP单元发出控制指令。本发明的有益效果在于：通过采用双核控制的结构设计，降低了芯片负荷比重，灵活性很高，二次开发周期较短。

Description

一种采用双核控制的网络摄像机

技术领域

本发明涉及数字图像处理领域，具体的说特别涉及到一种采用双核控制的网络摄像机。

背景技术

近几年来，以数字图像处理为对象的嵌入式处理芯片的不断涌现，为高速图像处理的硬件实现奠定了较好的物质基础。在一些专业领域，开始进行嵌入式芯片进行数字图像的采集、预处理、压缩解压缩等方面的应用研究。利用嵌入式技术采用专用芯片和实时操作系统，把视频压缩和网络传输功能集成到一个嵌入式网络摄像机内，可以直接连入以太网，网络摄像机是针对网络环境下的监控需求而设计的，因此它克服了传统CCTV监控系统无法通过网络获取视频信息的缺点；在监控终端，一方面，远程监控人员通过在IE浏览器内输入摄像机的IP，即可访问到网络摄像机，进行监控现场的浏览，另一方面，监控人员也可通过专用的监控终端软件，进行现场监控，IP摄像机是全数字化的监控设备，它基于标准的TCP/IP协议，能够通过局域网／无线网／互联网传输。尤其针对无线传输网络，随着我国第三代移动通讯技术3G的发展，利用3G无线网络进行现场实时视频监控与指挥已成为应对突发事件获取现场图像信息的第一选择。通过安装3G无线视频监控系统，将图像信息通过3G网络无线实时传输到指挥中心的监视屏幕或各监控车辆终端以及手机移动终端上进行显示，以便于相关领导能及时掌握突发事件现场的图像、位置、状态等动态信息，及时对现场进行布控和处理。

对于IP网络摄像机系统的设计方案，目前比较流行的有：

1．基于ARM处理器和专用视频编解码ASIC芯片

这种方案常见的是选择以ARM为核心处理器和专用的媒体编解码芯片进行组合，ARM处理器完成系统外设通信与控制功能，而视频信号的压缩编码由专用的ASIC芯片来完成，如海思半导体推出的Hi3510芯片，Broadcom公司推出的支持高清消费类视频产品的BCM7411芯片等都是基于MPEG4或者H．264视频编码标准的专用ASIC芯片。其优点是开发时间短，性能可靠，但是由于采用的是ASIC芯片，其灵活性较差，产品一旦定型，进行二次开发周期较长。

2．基于面向媒体信息处理的单核DSP

如TI公司的TMS320DM64x系列的数字媒体处理DSP，ADI公司的Blackfin系列媒体处理器BF561等，以及Philips公司的Trimedia／Nexperia系列的多媒体处理DSP。面向多媒体处理的专用DSP，集成了MCU和DSP的优越功能，并且加入专门用于媒体处理的硬件指令，使得它在处理视频等多媒体数据时的效率有了极大的提高，在采用软件算法时，可以方便地实现视频编解码标准的算法转换和新标准的升级而不需要修改硬件，灵活性很高，但是采用软件编解码，在实现复杂度很高的MPEG4或者H.264算法时难度很大，同时芯片的负荷比较重。

发明内容

本发明的目的在于提供一种采用双核控制的网络摄像机，通过采用ARM和DSP双核控制对于视频图像的处理，克服了传统技术中的不足，从而实现本发明的目的。

本发明所解决的技术问题可以采用以下技术方案来实现：

一种采用双核控制的网络摄像机，包括网络摄像机硬件系统和网络服务中心；所述网络摄像机硬件系统的核心为主控芯片，主控芯片通过接口连接有图像采集装置、数据传输接口装置、存储装置和电源；所述网络服务中心通过数据传输接口装置与网络摄像机硬件系统连接，所述主控芯片包括通过相互之间的中断来实现通信的DSP核和ARM核，所述DSP核和ARM核均与存储装置连接；

所述ARM核控制图像采集装置获取图像信息后发送给存储装置，并向DSP核发送控制信号；DSP核收到控制信号后，开始获取存储装置中的图像信息，并对图像信息进行格式转换，然后采用MPEG4算法进行帧间编码压缩，处理完毕后发送反馈信号给ARM核；ARM核接收到反馈信号后，对处理完毕后的图像信息进行RTP封包处理，然后控制数据传输接口装置进行发送。

在本发明的一个实施例中，所述主控芯片设置有视频前端输入接口和视频末端输出接口；视频前端输入接口由电荷耦合元件控制器、预处理器、柱状模块、自动曝光/白平衡/聚焦模块和寄存器组成，视频末端输出接口由视频编码器和在线视频显示处理器组成。

在本发明的一个实施例中，所述数据传输接口装置包括有线网络接口和无线网络接口。

在本发明的一个实施例中，所述存储装置包括32位的DDR控制器和与其连接的两片16位DDR芯片，DDR控制器用于存储图像数据、ARM核和DSP核的代码。

一种采用双核控制的网络摄像方法，所述包括如下步骤：

图像采集，主控芯片中的ARM核通过接口控制图像采集装置采集图像；

图像处理，主控芯片中的DSP核接收到ARM的控制信号后对采集到的图像数据进行YUV格式转换得到YUV4:2:0格式数据，再采用优化的MPEG4压缩算法，对完成处理的YUV4:2:0格式数据进行帧间编码压缩；

网络传输，压缩编码完成后，进行视频预存缓冲处理，对编码数据进行RTP封包处理，然后通过数据传输接口装置进行发送。

在本发明的一个实施例中，所述网络传输完成后，进行命令解析处理，判断是否有自适应或重传控制命令，实现动态调整帧码率以降低无线网络传输负载，或者通过预存缓冲机制提取出丢失视频数据，完成重传数据传输。

本发明的有益效果在于：通过采用双核控制的结构设计，降低了芯片负荷比重，灵活性很高，二次开发周期较短。

附图说明

图1为本发明所述的采用双核控制的网络摄像机的结构框图。

图2为本发明所述的采用双核控制的网络摄像机的硬件结构图。

图3为本发明所述的双核通信的示意图。

图4为本发明所述的图像采集模块的工作示意图。

图5为本发明所述的网络传输模块的工作示意图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

如图1和图2所示，本发明所述的一种采用双核控制的网络摄像机，包括网络摄像机硬件系统100、嵌入式软件200和网络服务中心300；所述网络摄像机硬件系统的核心为主控芯片110，主控芯片通过接口连接有图像采集装置120、数据传输接口装置、存储装置130和电源140；所述网络服务中心通过数据传输接口装置与网络摄像机硬件系统连接，所述主控芯片包括通过相互的中断来实现通信的DSP核和ARM核，DSP核用于搜集、分析和处理图像采集装置获取的图像数据，ARM核用于实现接口的控制功能，向DSP单元发出控制指令。

如图3所示，本发明采用低功耗、高性能的32位TMS320C64x内核和ARM926EJ-S内核，工作频率分别高达594MHz和297MHz；支持多媒体处理技术，采用的是TMS320C64x DSP内核，增强了对视频和音频的解码能力。多电源管理模式，双内核电压供给为1.6V；ARM926EJ-S内核具有16KB指令和8KB数据Cache，TMS320C64x DSP内核具有32KB程序RAM/Cache、80KB数据RAM/Cache及64KB未定义RAM/Cache；支持3.3V或1.8V的I/O接口和存储器接口。在DM6446中ARM核和DSP核之间的通信主要是通过相互的中断来实现。ARM和DSP之间的资源共享主要指外设,如EDMA,Timer0/1,Power &SleepController,ASP和EMIFA Data。

本发明设置有1个视频前端输入接口和1个视频末端输出接口，视频前端输入接口用于接收外部传感器或视频译码器等图像，视频末端输出接口输出图像到显示屏上。视频前端输入（VPFE）接口由1个CCD控制器(CCDC)、1个预处理器、柱状模块、自动曝光/白平衡/聚焦模块（H3A）和寄存器组成。CCD控制器可以与视频解码器、CMOS传感器或电荷耦合装置连接；预处理器是一个实时的图形处理器，它把CMOS或CCD得到的原始图形从RGB（三原色）转变为YUV4:2:0编码；柱状模块和H3A模块则提供原始图形信息。视频末端输出（VPBE）接口由1个在线视频显示处理器（OSD）和1个视频编码器组成。在线视频显示处理器既能够显示两组独立的视频窗口或两组独立的OSD窗口，还可以以1个视频窗口、1个OSD窗口和1个属性窗口的形式显示。

内存主要用来缓存视频输入图像数据，存储ARM和DSP代码等。本发明选用Micron公司的MT47H64M16BT型号DDR2芯片，该芯片单片容量为1Gb,提供16位字长数据总线接口，芯片采用1.8V做为输入电压，其内存支持差分锁存信号，可以保证电路在高速情况下准确的锁存总线上的数据，使系统更加稳定可靠。为提高系统内存容量并最大限度利用DDR2控制器的32数据总线，设计选用两MT47H64M16BT,分别作为数据总线的高低16位，组成32位数据总线、大小为256Mbyte的内存系统。将两片16位DDR2芯片与32位总线的DDR2控制器连接时，把数据总线和相应的数据选通信号及字节使能信号与相应DDR2芯片分别连接，其它信号两片DDR2芯片公用。此时，32位数据总线的DDR2控制器可同时访问两片DDR2芯片。

所示嵌入式软件可划分为3个部分。

（1）图像采样、原始码流捕获组件得到YUV格式的视频数据。

如图4所示，主要完成视频的采集、图像格式转换。采用V4L2接口采集摄像头的视频数据，V4L2是Linux下开发视频采集设备驱动程序的一套规范，这套规范使用分层的方法给驱动程序开发提供了清晰的模型和一致的接口。应用程序处于最上层，V4L2处于中间层，而硬件设备处于下层，从而通过驱动程序，应用程序对设备的操作如同一个文件一样，屏蔽了硬件设备的具体操作。

（2）压缩部分。

压缩码流捕获组件得到压缩的视频数据流，存为标准格式的压缩文件。本发明中充分利用了Davinci编解码引擎接口进行应用程序编程，对采集到的视频数据进行YUV格式转换后，采用优化的MPEG4压缩算法，对完成处理的YUV4:2:0格式数据进行帧间编码压缩。

（3）自适应网络传输部分，完成视频数据自适应网络的传输。

主要完成视频数据及系统数据的有线网络传输和3G无线网络传输，用于支持视频监控及系统控制通讯等功能。在现场突发事件情况下通常采用3G无线网络传输，设计中采用RTP/RTCP协议配合使用，由于无线网络的不稳定性，加入了自适应帧码率处理机制及QoS处理机制，保证了视频图像质量和实时性要求。其基本过程是压缩编码完成后，进行视频预存缓冲处理，对编码数据进行RTP封包处理，然后经过USB总线传输到3G模块中，通过无线网络进行发送；接收数据完成后，进行命令解析处理，判断是否有自适应或重传控制命令，实现动态调整帧码率以降低无线网络传输负载，或者通过预存缓冲机制提取出丢失视频数据，完成重传数据传输。

所述网络服务中心负责系统的整体管理运行，并将视频和其他信息分发到各需求点。中心由四层结构组成：客户层、信息发布层、应用层和数据层。

所述客户层主要指用户界面，完成对应用逻辑的调用及各种输入、控制、查询等界面功能的实现。

所述信息发布层通过多台Web服务器分担客户层对应用层的数据流量，将数据流量均匀分布到多台Web服务器上，主要通过Web Switch平衡负载。

所述应用层主要包括应用逻辑层和数据逻辑层。应用逻辑层主要用于处理各类的程序应用逻辑，如数据的检查，事务处理及控制以及各种运算关系；数据逻辑层则直接与数据库打交道，针对设计中划分出的数据对象的各种可能操作提供对应的方法。

所述数据层包括系统中所有的存储数据，主要是数据库服务器存储大量的数据信息和数据逻辑，所有与数据有关的安全、完整性控制、数据的一致性、并发操作等都是在这一层完成，保证应用层使用的要求。数据应用层设计采用了集群方式，提高系统的处理能力，确保无单点故障，同时使系统具有高度的可扩展能力。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims

1.一种采用双核控制的网络摄像机，包括网络摄像机硬件系统和网络服务中心；所述网络摄像机硬件系统的核心为主控芯片，主控芯片通过接口连接有图像采集装置、数据传输接口装置、存储装置和电源；所述网络服务中心通过数据传输接口装置与网络摄像机硬件系统连接，其特征在于，所述主控芯片包括通过相互之间的中断来实现通信的DSP核和ARM核，所述DSP核和ARM核均与存储装置连接；

2.根据权利要求1所述的一种采用双核控制的网络摄像机，其特征在于，所述主控芯片设置有视频前端输入接口和视频末端输出接口；视频前端输入接口由电荷耦合元件控制器、预处理器、柱状模块、自动曝光/白平衡/聚焦模块和寄存器组成，视频末端输出接口由视频编码器和在线视频显示处理器组成。

3.根据权利要求1所述的一种采用双核控制的网络摄像机，其特征在于，所述数据传输接口装置包括有线网络接口和无线网络接口。

4.根据权利要求1所述的一种采用双核控制的网络摄像机，其特征在于，所述存储装置包括32位的DDR控制器和与其连接的两片16位DDR芯片，DDR控制器用于存储图像数据、ARM核和DSP核的代码。

5.一种采用双核控制的网络摄像方法，其特征在于，所述包括如下步骤：

6.根据权利要求5所述的一种采用双核控制的网络摄像方法，其特征在于，所述网络传输完成后，进行命令解析处理，判断是否有自适应或重传控制命令，实现动态调整帧码率以降低无线网络传输负载，或者通过预存缓冲机制提取出丢失视频数据，完成重传数据传输。