CN102724395B - 一种采用双核控制的网络摄像机 - Google Patents
一种采用双核控制的网络摄像机 Download PDFInfo
- Publication number
- CN102724395B CN102724395B CN201210214011.0A CN201210214011A CN102724395B CN 102724395 B CN102724395 B CN 102724395B CN 201210214011 A CN201210214011 A CN 201210214011A CN 102724395 B CN102724395 B CN 102724395B
- Authority
- CN
- China
- Prior art keywords
- core
- video
- data
- network
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明公开了一种采用双核控制的网络摄像机,包括网络摄像机硬件系统、嵌入式软件和网络服务中心;所述网络摄像机硬件系统的核心为主控芯片,主控芯片通过接口连接有图像采集装置、数据传输接口装置、存储装置和电源;所述网络服务中心通过数据传输接口装置与网络摄像机硬件系统连接,所述主控芯片包括通过相互的中断来实现通信的DSP核和ARM核,DSP核用于搜集、分析和处理图像采集装置获取的图像数据,ARM核用于实现接口的控制功能,向DSP单元发出控制指令。本发明的有益效果在于:通过采用双核控制的结构设计,降低了芯片负荷比重,灵活性很高,二次开发周期较短。
Description
技术领域
本发明涉及数字图像处理领域,具体的说特别涉及到一种采用双核控制的网络摄像机。
背景技术
近几年来,以数字图像处理为对象的嵌入式处理芯片的不断涌现,为高速图像处理的硬件实现奠定了较好的物质基础。在一些专业领域,开始进行嵌入式芯片进行数字图像的采集、预处理、压缩解压缩等方面的应用研究。利用嵌入式技术采用专用芯片和实时操作系统,把视频压缩和网络传输功能集成到一个嵌入式网络摄像机内,可以直接连入以太网,网络摄像机是针对网络环境下的监控需求而设计的,因此它克服了传统CCTV监控系统无法通过网络获取视频信息的缺点;在监控终端,一方面,远程监控人员通过在IE浏览器内输入摄像机的IP,即可访问到网络摄像机,进行监控现场的浏览,另一方面,监控人员也可通过专用的监控终端软件,进行现场监控,IP摄像机是全数字化的监控设备,它基于标准的TCP/IP协议,能够通过局域网/无线网/互联网传输。尤其针对无线传输网络,随着我国第三代移动通讯技术3G的发展,利用3G无线网络进行现场实时视频监控与指挥已成为应对突发事件获取现场图像信息的第一选择。通过安装3G无线视频监控系统,将图像信息通过3G网络无线实时传输到指挥中心的监视屏幕或各监控车辆终端以及手机移动终端上进行显示,以便于相关领导能及时掌握突发事件现场的图像、位置、状态等动态信息,及时对现场进行布控和处理。
对于IP网络摄像机系统的设计方案,目前比较流行的有:
1.基于ARM处理器和专用视频编解码ASIC芯片
这种方案常见的是选择以ARM为核心处理器和专用的媒体编解码芯片进行组合,ARM处理器完成系统外设通信与控制功能,而视频信号的压缩编码由专用的ASIC芯片来完成,如海思半导体推出的Hi3510芯片,Broadcom公司推出的支持高清消费类视频产品的BCM7411芯片等都是基于MPEG4或者H.264视频编码标准的专用ASIC芯片。其优点是开发时间短,性能可靠,但是由于采用的是ASIC芯片,其灵活性较差,产品一旦定型,进行二次开发周期较长。
2.基于面向媒体信息处理的单核DSP
如TI公司的TMS320DM64x系列的数字媒体处理DSP,ADI公司的Blackfin系列媒体处理器BF561等,以及Philips公司的Trimedia/Nexperia系列的多媒体处理DSP。面向多媒体处理的专用DSP,集成了MCU和DSP的优越功能,并且加入专门用于媒体处理的硬件指令,使得它在处理视频等多媒体数据时的效率有了极大的提高,在采用软件算法时,可以方便地实现视频编解码标准的算法转换和新标准的升级而不需要修改硬件,灵活性很高,但是采用软件编解码,在实现复杂度很高的MPEG4或者H.264算法时难度很大,同时芯片的负荷比较重。
发明内容
本发明的目的在于提供一种采用双核控制的网络摄像机,通过采用ARM和DSP双核控制对于视频图像的处理,克服了传统技术中的不足,从而实现本发明的目的。
本发明所解决的技术问题可以采用以下技术方案来实现:
一种采用双核控制的网络摄像机,包括网络摄像机硬件系统和网络服务中心;所述网络摄像机硬件系统的核心为主控芯片,主控芯片通过接口连接有图像采集装置、数据传输接口装置、存储装置和电源;所述网络服务中心通过数据传输接口装置与网络摄像机硬件系统连接,所述主控芯片包括通过相互之间的中断来实现通信的DSP核和ARM核,所述DSP核和ARM核均与存储装置连接;
所述ARM核控制图像采集装置获取图像信息后发送给存储装置,并向DSP核发送控制信号;DSP核收到控制信号后,开始获取存储装置中的图像信息,并对图像信息进行格式转换,然后采用MPEG4算法进行帧间编码压缩,处理完毕后发送反馈信号给ARM核;ARM核接收到反馈信号后,对处理完毕后的图像信息进行RTP封包处理,然后控制数据传输接口装置进行发送。
在本发明的一个实施例中,所述主控芯片设置有视频前端输入接口和视频末端输出接口;视频前端输入接口由电荷耦合元件控制器、预处理器、柱状模块、自动曝光/白平衡/聚焦模块和寄存器组成,视频末端输出接口由视频编码器和在线视频显示处理器组成。
在本发明的一个实施例中,所述数据传输接口装置包括有线网络接口和无线网络接口。
在本发明的一个实施例中,所述存储装置包括32位的DDR控制器和与其连接的两片16位DDR芯片,DDR控制器用于存储图像数据、ARM核和DSP核的代码。
一种采用双核控制的网络摄像方法,所述包括如下步骤:
图像采集,主控芯片中的ARM核通过接口控制图像采集装置采集图像;
图像处理,主控芯片中的DSP核接收到ARM的控制信号后对采集到的图像数据进行YUV格式转换得到YUV4:2:0格式数据,再采用优化的MPEG4压缩算法,对完成处理的YUV4:2:0格式数据进行帧间编码压缩;
网络传输,压缩编码完成后,进行视频预存缓冲处理,对编码数据进行RTP封包处理,然后通过数据传输接口装置进行发送。
在本发明的一个实施例中,所述网络传输完成后,进行命令解析处理,判断是否有自适应或重传控制命令,实现动态调整帧码率以降低无线网络传输负载,或者通过预存缓冲机制提取出丢失视频数据,完成重传数据传输。
本发明的有益效果在于:通过采用双核控制的结构设计,降低了芯片负荷比重,灵活性很高,二次开发周期较短。
附图说明
图1为本发明所述的采用双核控制的网络摄像机的结构框图。
图2为本发明所述的采用双核控制的网络摄像机的硬件结构图。
图3为本发明所述的双核通信的示意图。
图4为本发明所述的图像采集模块的工作示意图。
图5为本发明所述的网络传输模块的工作示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本发明。
如图1和图2所示,本发明所述的一种采用双核控制的网络摄像机,包括网络摄像机硬件系统100、嵌入式软件200和网络服务中心300;所述网络摄像机硬件系统的核心为主控芯片110,主控芯片通过接口连接有图像采集装置120、数据传输接口装置、存储装置130和电源140;所述网络服务中心通过数据传输接口装置与网络摄像机硬件系统连接,所述主控芯片包括通过相互的中断来实现通信的DSP核和ARM核,DSP核用于搜集、分析和处理图像采集装置获取的图像数据,ARM核用于实现接口的控制功能,向DSP单元发出控制指令。
所述ARM核控制图像采集装置获取图像信息后发送给存储装置,并向DSP核发送控制信号;DSP核收到控制信号后,开始获取存储装置中的图像信息,并对图像信息进行格式转换,然后采用MPEG4算法进行帧间编码压缩,处理完毕后发送反馈信号给ARM核;ARM核接收到反馈信号后,对处理完毕后的图像信息进行RTP封包处理,然后控制数据传输接口装置进行发送。
如图3所示,本发明采用低功耗、高性能的32位TMS320C64x内核和ARM926EJ-S内核,工作频率分别高达594MHz和297MHz;支持多媒体处理技术,采用的是TMS320C64x DSP内核,增强了对视频和音频的解码能力。多电源管理模式,双内核电压供给为1.6V;ARM926EJ-S内核具有16KB指令和8KB数据Cache,TMS320C64x DSP内核具有32KB程序RAM/Cache、80KB数据RAM/Cache及64KB未定义RAM/Cache;支持3.3V或1.8V的I/O接口和存储器接口。在DM6446中ARM核和DSP核之间的通信主要是通过相互的中断来实现。ARM和DSP之间的资源共享主要指外设,如EDMA,Timer0/1,Power &SleepController,ASP和EMIFA Data。
本发明设置有1个视频前端输入接口和1个视频末端输出接口,视频前端输入接口用于接收外部传感器或视频译码器等图像,视频末端输出接口输出图像到显示屏上。视频前端输入(VPFE)接口由1个CCD控制器(CCDC)、1个预处理器、柱状模块、自动曝光/白平衡/聚焦模块(H3A)和寄存器组成。CCD控制器可以与视频解码器、CMOS传感器或电荷耦合装置连接;预处理器是一个实时的图形处理器,它把CMOS或CCD得到的原始图形从RGB(三原色)转变为YUV4:2:0编码;柱状模块和H3A模块则提供原始图形信息。视频末端输出(VPBE)接口由1个在线视频显示处理器(OSD)和1个视频编码器组成。在线视频显示处理器既能够显示两组独立的视频窗口或两组独立的OSD窗口,还可以以1个视频窗口、1个OSD窗口和1个属性窗口的形式显示。
内存主要用来缓存视频输入图像数据,存储ARM和DSP代码等。本发明选用Micron公司的MT47H64M16BT型号DDR2芯片,该芯片单片容量为1Gb,提供16位字长数据总线接口,芯片采用1.8V做为输入电压,其内存支持差分锁存信号,可以保证电路在高速情况下准确的锁存总线上的数据,使系统更加稳定可靠。为提高系统内存容量并最大限度利用DDR2控制器的32数据总线,设计选用两MT47H64M16BT,分别作为数据总线的高低16位,组成32位数据总线、大小为256Mbyte的内存系统。将两片16位DDR2芯片与32位总线的DDR2控制器连接时,把数据总线和相应的数据选通信号及字节使能信号与相应DDR2芯片分别连接,其它信号两片DDR2芯片公用。此时,32位数据总线的DDR2控制器可同时访问两片DDR2芯片。
所示嵌入式软件可划分为3个部分。
(1)图像采样、原始码流捕获组件得到YUV格式的视频数据。
如图4所示,主要完成视频的采集、图像格式转换。采用V4L2接口采集摄像头的视频数据,V4L2是Linux下开发视频采集设备驱动程序的一套规范,这套规范使用分层的方法给驱动程序开发提供了清晰的模型和一致的接口。应用程序处于最上层,V4L2处于中间层,而硬件设备处于下层,从而通过驱动程序,应用程序对设备的操作如同一个文件一样,屏蔽了硬件设备的具体操作。
(2)压缩部分。
压缩码流捕获组件得到压缩的视频数据流,存为标准格式的压缩文件。本发明中充分利用了Davinci编解码引擎接口进行应用程序编程,对采集到的视频数据进行YUV格式转换后,采用优化的MPEG4压缩算法,对完成处理的YUV4:2:0格式数据进行帧间编码压缩。
(3)自适应网络传输部分,完成视频数据自适应网络的传输。
主要完成视频数据及系统数据的有线网络传输和3G无线网络传输,用于支持视频监控及系统控制通讯等功能。在现场突发事件情况下通常采用3G无线网络传输,设计中采用RTP/RTCP协议配合使用,由于无线网络的不稳定性,加入了自适应帧码率处理机制及QoS处理机制,保证了视频图像质量和实时性要求。其基本过程是压缩编码完成后,进行视频预存缓冲处理,对编码数据进行RTP封包处理,然后经过USB总线传输到3G模块中,通过无线网络进行发送;接收数据完成后,进行命令解析处理,判断是否有自适应或重传控制命令,实现动态调整帧码率以降低无线网络传输负载,或者通过预存缓冲机制提取出丢失视频数据,完成重传数据传输。
所述网络服务中心负责系统的整体管理运行,并将视频和其他信息分发到各需求点。中心由四层结构组成:客户层、信息发布层、应用层和数据层。
所述客户层主要指用户界面,完成对应用逻辑的调用及各种输入、控制、查询等界面功能的实现。
所述信息发布层通过多台Web服务器分担客户层对应用层的数据流量,将数据流量均匀分布到多台Web服务器上,主要通过Web Switch平衡负载。
所述应用层主要包括应用逻辑层和数据逻辑层。应用逻辑层主要用于处理各类的程序应用逻辑,如数据的检查,事务处理及控制以及各种运算关系;数据逻辑层则直接与数据库打交道,针对设计中划分出的数据对象的各种可能操作提供对应的方法。
所述数据层包括系统中所有的存储数据,主要是数据库服务器存储大量的数据信息和数据逻辑,所有与数据有关的安全、完整性控制、数据的一致性、并发操作等都是在这一层完成,保证应用层使用的要求。数据应用层设计采用了集群方式,提高系统的处理能力,确保无单点故障,同时使系统具有高度的可扩展能力。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (4)
1.一种采用双核控制的网络摄像机,包括网络摄像机硬件系统和网络服务中心;所述网络摄像机硬件系统的核心为主控芯片,主控芯片通过接口连接有图像采集装置、数据传输接口装置、存储装置和电源;所述网络服务中心通过数据传输接口装置与网络摄像机硬件系统连接,其特征在于,所述主控芯片包括通过相互之间的中断来实现通信的DSP核和ARM核,所述DSP核和ARM核均与存储装置连接;
所述ARM核控制图像采集装置获取图像信息后发送给存储装置,并向DSP核发送控制信号;DSP核收到控制信号后,开始获取存储装置中的图像信息,并对图像信息进行格式转换,然后采用MPEG4算法进行帧间编码压缩,处理完毕后发送反馈信号给ARM核;ARM核接收到反馈信号后,对处理完毕后的图像信息进行RTP封包处理,然后控制数据传输接口装置进行发送;
所述主控芯片设置有视频前端输入接口和视频末端输出接口;视频前端输入接口由电荷耦合元件控制器、预处理器、柱状模块、自动曝光/白平衡/聚焦模块和寄存器组成,电荷耦合元件控制器与视频解码器、CMOS传感器或电荷耦合装置连接;预处理器是一个实时的图形处理器,将CMOS或电荷耦合元件控制器得到的原始图形从RGB转变为YUV4:2:0编码;柱状模块和H3A模块则提供原始图形信息;
所述视频末端输出接口由视频编码器和在线视频显示处理器组成;
所述存储装置包括32位的DDR控制器和与其连接的两片16位DDR芯片,DDR控制器用于存储图像数据、ARM核和DSP核的代码,两片16位DDR2芯片与32位总线的DDR2控制器连接时,把数据总线和相应的数据选通信号及字节使能信号与相应DDR2芯片分别连接,其它信号两片DDR2芯片公用。
2.根据权利要求1所述的一种采用双核控制的网络摄像机,其特征在于,所述数据传输接口装置包括有线网络接口和无线网络接口。
3.一种采用双核控制的网络摄像方法,其特征在于,所述包括如下步骤:
图像采集,主控芯片中的ARM核通过接口控制图像采集装置采集图像;
图像处理,主控芯片中的DSP核接收到ARM的控制信号后对采集到的图像数据进行YUV格式转换得到YUV4:2:0格式数据,再采用优化的MPEG4压缩算法,对完成处理的YUV4:2:0格式数据进行帧间编码压缩;
网络传输,压缩编码完成后,进行视频预存缓冲处理,对编码数据进行RTP封包处理,然后通过数据传输接口装置进行发送。
4.根据权利要求3所述的一种采用双核控制的网络摄像方法,其特征在于,所述网络传输完成后,进行命令解析处理,判断是否有自适应或重传控制命令,实现动态调整帧码率以降低无线网络传输负载,或者通过预存缓冲机制提取出丢失视频数据,完成重传数据传输。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210214011.0A CN102724395B (zh) | 2012-06-26 | 2012-06-26 | 一种采用双核控制的网络摄像机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210214011.0A CN102724395B (zh) | 2012-06-26 | 2012-06-26 | 一种采用双核控制的网络摄像机 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102724395A CN102724395A (zh) | 2012-10-10 |
CN102724395B true CN102724395B (zh) | 2015-02-04 |
Family
ID=46950049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210214011.0A Active CN102724395B (zh) | 2012-06-26 | 2012-06-26 | 一种采用双核控制的网络摄像机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102724395B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102999731B (zh) * | 2012-11-20 | 2015-09-30 | 成都卫士通信息产业股份有限公司 | 一种基于双核处理器的安全通信方法及系统 |
CN103297689A (zh) * | 2013-04-28 | 2013-09-11 | 温州市凯能电子科技有限公司 | 可控视频回收与释放的网络摄像机 |
CN103957389B (zh) * | 2014-05-13 | 2017-02-22 | 重庆大学 | 基于压缩感知的3g视频传输方法及系统 |
CN104767957A (zh) * | 2015-04-09 | 2015-07-08 | 南阳师范学院 | 基于嵌入式双核处理器的视频采集编码方法、系统及装置 |
CN106454279B (zh) * | 2016-12-03 | 2023-07-04 | 河池学院 | 一种嵌入式视频监控系统 |
WO2019104558A1 (zh) * | 2017-11-29 | 2019-06-06 | 深圳市大疆创新科技有限公司 | 图像处理方法、拍摄设备、无人机及地面端设备 |
CN112532954B (zh) * | 2020-11-30 | 2023-01-13 | 中国航空工业集团公司西安航空计算技术研究所 | 一种机载视频一体化处理系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101198029A (zh) * | 2007-04-13 | 2008-06-11 | 东华大学 | 基于软交换的远程视频监控系统和方法 |
CN201153302Y (zh) * | 2008-01-04 | 2008-11-19 | 深圳市高斯贝尔家居智能电子有限公司 | 数字网络摄像机 |
CN101500169A (zh) * | 2009-03-10 | 2009-08-05 | 武汉大学 | 多路音视频压缩传输服务器 |
CN101827242A (zh) * | 2010-05-10 | 2010-09-08 | 南京邮电大学 | 一种基于网络电视机顶盒的可视电话系统实现方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4066737B2 (ja) * | 2002-07-29 | 2008-03-26 | セイコーエプソン株式会社 | 画像処理システム |
US20110193971A1 (en) * | 2010-02-10 | 2011-08-11 | A-Tec Subsystem Inc. | Network camera |
-
2012
- 2012-06-26 CN CN201210214011.0A patent/CN102724395B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101198029A (zh) * | 2007-04-13 | 2008-06-11 | 东华大学 | 基于软交换的远程视频监控系统和方法 |
CN201153302Y (zh) * | 2008-01-04 | 2008-11-19 | 深圳市高斯贝尔家居智能电子有限公司 | 数字网络摄像机 |
CN101500169A (zh) * | 2009-03-10 | 2009-08-05 | 武汉大学 | 多路音视频压缩传输服务器 |
CN101827242A (zh) * | 2010-05-10 | 2010-09-08 | 南京邮电大学 | 一种基于网络电视机顶盒的可视电话系统实现方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102724395A (zh) | 2012-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102724395B (zh) | 一种采用双核控制的网络摄像机 | |
CN110121114A (zh) | 发送流数据的方法及数据发送设备 | |
CN105208342B (zh) | 一种双路视频压缩存储及网络切换传输电路 | |
CN203492134U (zh) | 一种基于安卓操作系统的智能监控可视对讲终端 | |
CN110351533A (zh) | 基于Linux的视频图像处理的网络传输监控系统及其实现方法 | |
CN106331612A (zh) | 智能网络视频监控系统 | |
CN104052968A (zh) | 一种基于家庭网关的远程视频监管系统 | |
CN201663664U (zh) | 双cpu结构的网络视频服务器 | |
CN203181112U (zh) | Td-lte单兵终端及视频监控系统 | |
WO2021081810A1 (zh) | 控制方法、控制系统、云台及存储介质 | |
CN107979568A (zh) | 一种视频监控应用系统 | |
CN106454279B (zh) | 一种嵌入式视频监控系统 | |
Zhou et al. | Network video capture and short message service alarm system design based on embedded Linux | |
CN202353717U (zh) | 嵌入式网络视频监控系统 | |
CN100596199C (zh) | 基于mips架构的嵌入式图像采集、网络传输平台 | |
CN102905119A (zh) | 基于3g移动通信网的无线视频监控的方法和服务器系统 | |
CN201674609U (zh) | 网络视频服务器 | |
CN201563196U (zh) | 视讯e通网络可视信息终端 | |
Yu et al. | The design of the embedded wireless vehicles monitoring management system based on gprs: evidence from china | |
CN202178847U (zh) | 一种称重监控的远程电视墙系统 | |
CN218830384U (zh) | 变电设备仪表抄录用智能微拍终端 | |
CN102868877A (zh) | 实时影像通讯系统以及方法 | |
CN203243446U (zh) | 基于td-scdma的远程无线视频监控移动终端 | |
CN202172426U (zh) | 一种集成称重仪表式管理系统 | |
CN201528400U (zh) | 一种视频监控系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |