CN102137229A

CN102137229A - 嵌入式高清全景摄像机及方法

Info

Publication number: CN102137229A
Application number: CN 201110056020
Authority: CN
Inventors: 韩志荣; 曹学磊
Original assignee: SHANGHAI BAWAY TECHNOLOGY Co Ltd
Current assignee: SHANGHAI BAWAY TECHNOLOGY Co Ltd
Priority date: 2011-03-09
Filing date: 2011-03-09
Publication date: 2011-07-27

Abstract

本发明涉及广播电视和监控技术领域，具体地说是一种嵌入式高清全景摄像机及方法，包括传感和采集模块、主控电路、传输模块，其特征在于壳体球形上设有多路传感器，每路传感器上设有信号线连接CCD采集模块输入端，差分信号处理模块输出端的信号线通过网线连接到主控模块的差分接收器端，主控模块的输出端连接视频压缩模块芯片和静态图像模块信号线，所述的视频压缩模块芯片和静态图像模块信号线连接千兆网传输模块信号线；本发明采用了全新的全景相机设计架构，并将先进的短距离传输技术应用于全景相机系统，达到相机的360度全景图像，综合了图像预处理技术、视频后处理技术、低功耗设计等技术，保证了全景图像的高清晰度和实时性。

Description

嵌入式高清全景摄像机及方法

[技术领域]

本发明涉及广播电视和监控技术领域，具体地说是一种嵌入式高清全景摄像机及方法。

[背景技术]

近年来，全景视频监控系统开始兴起，传统的做法主要有两种：

(1)通过鱼眼镜头和单摄像机(非高清)得到全景，这种方法的缺陷是全景视频图像的分辨率不会很高，并且检测图像是从畸变的视频图像中还原出来的，画面各部分细节成都不一样，还原算法的不完善也会造成图像失真。

(2)通过单摄像机(非高清)垂直和水平自由度的两个电机上，通过电机的在水平和垂直两个方向进行转动从而近似得到一个全景图像，这种方法的缺陷是得到的全景图像是不连续的而且存在盲区，另外运动的相机得到的图像存在抖动。

[发明内容]

本发明的目的是提供一种新型的高清全景监控装置，面向中高端市场，在低成本的情况下提供一种低功耗、高清晰的、带网络功能的全景摄像监控设备，满足对性能要求比较高的市场需求。

为了实现上述目的，本发明设计一种嵌入式高清全景摄像机，包括传感和采集模块、主控电路、传输模块，其特征在于壳体球形上设有多路传感器，每路传感器上设有信号线连接CCD采集模块输入端，CCD采集模块上设有CAM_DO+、CAM_DO-、CAM_RIN+、CAM_RIN-四根信号线，四根信号线连接差分信号处理模块的输入端，差分信号处理模块输出端的四根信号线通过网线连接到主控模块的差分接收器端，差分接收器将差分信号转换成并行信号连接主控模块Xilinx的spartan3-1200e的输入端，主控模块的输出端GIO_SNSR0至GIO_SNSR41分别连接视频压缩模块芯片和静态图像模块信号线，所述的视频压缩模块芯片和静态图像模块信号线连接千兆网传输模块信号线。

所述的采集模块由传感器、控制器、高速串行传输模块及CCD电源驱动模块组成，所述的控制器芯片为D592LV18TVV，控制器芯片DIN0至DIN17接受单路CCD图像信号，控制器的13端和14端连接驱动模块U4的6端和1端，控制器的7端和8端连接驱动模块U5的6端和1端，控制器的13端和14端抽头连接传输模块P2的1端和2端，控制器的7端和8端抽头连接传输模块P2的3端和7端。

所述的主控模块电路能完成多路CCD的控制、多路CCD图像预处理、多路图像的拼接处理以及整个系统的电源低功耗处理，主控电路模块由差分信号处理模块、数字信号处理器(FPGA)及外部存储器管理模块组成，所述的主控电路模块采用芯片为XiLinx的FPGA(spartan3-1200e)，主板上设有四根信号线连接四路差分信号处理模块，主板上设有外接FLASH配置电路和Jtag电路及大容量的存储器DDR2。

所述的视频压缩与千兆网传输模块由视频H264压缩模块芯片信号线和静态图像JPEG2000压缩模块芯片信号线连接千兆网传输模块芯片信号线至监控中心显示。

所述的壳体主体球孔的任意位置安装CCD，壳体主体可以替换为长方体、正方体、圆锥体。

一种嵌入式高清全景摄像机的方法，其特征在于该方法将多路视频信号线转换成低压差分信号，采用普通的千兆网线来传送，所述的第1路至n路传感器信号通过采集电路CCD和AD采样电路将CCD进来的数据CAMTD0至CAMTD17转换成低压差分信号，通过CAM_DO+、CAM_DO-输出，接受主控制板的控制命令是通过DS92LV18TW将差分信号CAM-RIN+、CAM_RIN-的数据转换成并行数据CAM_DO0至CAM_RO17，所述的4路CCD信号通过网线连接到主控制板上的4对差分信号电路，其中信号CAM1_RIN+/CAM1_RIN-至CAM4_RIN+/CAM4_RIN-为CCD板子输出的视频输出信号，CAM1_DO+/CAM1_DO-至CAM4_DO+/CAM4_DO-为主控输出的控制命令信号；主控控制模块为该发明的核心模块，信号CAM1_RD[0...11]、CAM2_RD[0...11]、CAM3_RD[0...11]、CAM4_RD[0...11]从差分模块DS92LV18TVV串并转换过来，CAM1_TD[1...18]、CAM2_TD[1...18]、CAM3_TD[1...18]、CAM4_TD[1...18]为主控板通过DS92LV18TVV向CCD板发送命令信号，所述主控模块的视频数据送入H264视频编码器和JPEG2000静态图片编码器，通过压缩完的数据传给千兆网至监控中心的显示器。

所述的CCD采集方法，多路CCD采集的数据经过AD转换后，传送给并串转换器，并串转换器将并行的数字信号经过编码、抗串扰等算法处理后转成差分信号，通过网线传输给主控制板上的差分信号接收器。

所述的主控模块方法由差分信号处理模块接受CCD采集的图像信号，另外主控板向CCD板子发送的控制信号也通过该差分信号模块，CCD的控制参数如曝光时间、增益控制、帧率控制都通过该模块发送给CCD采集板，CCD采集过来的图像信号经过主控电路处理后送到后级的压缩模块；主控板的算法处理模块包括三个方面，一是CCD图像预处理算法，二是图像融合算法，三是电源管理算法。CCD图像预处理算法包括贝尔点阵插值、自动白平衡、图像增强算法；图像拼接算法采用基于Harris角点检测的快速拼接算法；电源管理算法主要是根据对采集的视频进行分析，判断当前场景所处的状态，从而来通过改变帧率和将部分硬件进入睡眠状态来达到降低功耗的要求；主控板上的控制算法都是采用的数字逻辑在FPGA上实现，保证了系统的实时性、灵活性和高可靠性。

所述的视频压缩与传输模块方法接受来自主控模块的视频数据，并将数据送入H264视频编码器、JPEG2000静态图片编码器，压缩完的码流按照RTSP协议通过过千兆网传给监控中心的显示终端，所述的H264、JPEG200编码器还能根据系统带宽要求实时的改变压缩性能充分使用当前的带宽。

本发明与现有技术相比，其优点在于：本发明采用了全新的全景相机设计架构，并将先进的短距离传输技术应用于全景相机系统，从而真正保证了相机的系统的360度全景图像；本发明采用了嵌入式硬件处理器实现了多路图像拼接技术、H.264视频编码、JPEG2000静态图像编码和千兆网传输技术，综合了图像预处理技术、视频后处理技术、低功耗设计等技术，保证了全景图像的高清晰度和实时性。

[附图说明]

图1为本发明的全景监控相机结构图；

图2为本发明的高清全景相机功能框图；

图3为本发明的单路CCD数据与控制信号通道传输接口；

图4为本发明的主板接受差分信号接口；

图5为本发明的高速差分传输模块；

图6为本发明的主控模块FPGA核心图。

[具体实施方式]

以下结合附图，对本发明做进一步详细说明，这种制造技术对本专业人士来说是清楚的。

一.全景相机架构

1.采用多传感器架构取代传统的单传感器架构；

传统的全景相机无论是基于鱼眼镜头还是基于二维旋转技术的，都是采用的单传感，本发明的全景相机采用的是多传感器技术，根据不同的应用选择不同的数目的传感器，可以从几个一直增加到几百个传感器，图.1中为我们设计的直径为1米的全景相机安装结构图，可以悬挂于类似于鸟巢体育中心进行360度全景监控。图中的孔就是安装传感器和传感器镜头的位置，可以根据不同的需要选择不同的位置。

2.多传感器和主控板子直接采用高速低压差分线来传输视频图像信号

本发明的相机采用的是高清分辨率CCD传感器，该分辨率的图像数据量特别大，目前市场上都是采用的HDMI线、或者高性能同轴电缆线来传送这些视频信号，这类线不但成本高而且安装极其不容易，针对这种情况，本发明将多路视频信号转换成低压差分信号采用普通的千兆网网线来传送即可。

二.全景相机硬件功能模块

本发明的整体硬件电路框图如图2.从功能上分整个系统分成三个部分，左边虚线部分为CCD采集驱动模块，中间虚线部分为主控电路模块，右边虚线部分为图像、视频压缩与千兆网传输模块，下面分别介绍。

1.CCD采集驱动模块

图2中虚线部分为多路视频采集模块，该部分可以根据不同的应用部署不同数目的摄像头，从而可以得到真正的360度全景空间图像。

CCD采集模块由传感器、控制器、高速串行传输模块以及CCD电源驱动模块组成。传感器采用的是sony的的200万CCD传感器，它将光信号采集进来转换成电信号经AD转换后传输给控制器，该控制器主要实现将AD的并行数字信号转换成串行的差分信号输出。控制器采用的是xilinx的spartan3 FPGA，FPGA除了完成配置AD以及控制传感器时序外，还负责控制高速串行传输模块。高速串行传输模块接受主控模块传送过来的控制信息，同时也向主控模块发送该路采集的视频信息，该差分传输最快可以达到3.8Gbps，CCD电源驱动模块采用了低噪声技术设计，保证了CCD在极暗的情况下也能拍摄到图像。

2.主控电路模块

图2中中间虚线部分为主控电路功能模块，该部分主要包括差分信号处理模块、图像/视频/功耗算法处理模块、以及外部存储器管理模块。

差分信号处理模块接受CCD采集的图像信号，另外主控板向CCD板子发送的控制信号也通过该差分信号模块，CCD的控制参数如曝光时间、增益控制、帧率控制都通过该模块发送给CCD采集板，CCD采集过来的图像信号经过主控电路处理后送到后级的压缩模块。

主控板的算法处理模块包括三个方面，一是CCD图像预处理算法，二是图像融合算法，三是电源管理算法。CCD图像预处理算法包括贝尔点阵插值、自动白平衡、图像增强算法；图像拼接算法采用基于Harris角点检测的快速拼接算法；电源管理算法主要是根据对采集的视频进行分析，判断当前场景所处的状态，从而来通过改变帧率和将部分硬件进入睡眠状态来达到降低功耗的要求。

主控板上外接的存储器为大容量的DDR2，由于多路高清CCD视频数据量非常大，因此本发明在主控板上设计了基于DDR2的多通道存储控制器，合理的分配各个通道的带宽，从而保证了视频处理信号的实时性。

主控板上的控制算法都是采用的数字逻辑在FPGA上实现，保证了系统的实时性、灵活性和高可靠性。

3.视频压缩与传输模块

该模块接受来自主控模块的视频数据，并将数据送入H264视频编码器、JPEG2000静态图片编码器，压缩完的数据经过千兆网传给监控中心的显示中端。

通过以上设计，本发明的全景相机可以获得传统全景相机无可比拟的高清晰、实时图像、视频数据，为中高端视频监控提供了一套有效的解决方案。

三.全景相机主要硬件原理图说明

1.高速差分传输模块

本发明中多路CCD视频与主控板之间创造性的采用了低压差分线来传输视频数据和控制信号，增加了系统的可靠性，降低系统成本，减轻了系统安装复杂性。

本发明中高速差分模块主要用于CCD板和主控板之间的数据和命令的传输。图3中给出了单路CCD板的差分传输接口，其中DS92LV18TVV负责将CCD进来的数据(CAM_TD0至CAM_TD17)转换成低压差分信号，通过CAM_DO+、CAM_DO-输出，接受主控制板的控制命令是通过DS92LV18TVV将差分信号CAM_RIN+、CAM_RIN-的数据转换成并行数据(CAM_RDO至CAM_RD17)；为了增加系统的可靠性，本发明中采用了NUP2201MR6T1G用来防止静电击穿其他芯片，低压差分信号经过RJ45(图中的DY9758-080801221-322)通过网线连接到主控板即可。

图4中给出主板接受四路CCD信号的接口，YH-56-31为4路RJ45，4路CCD板通过网线将4对差分信号接到主控制板，其中信号CAM1_RIN+/CAM1_RIN-至CAM4_RIN+/CAM4_RIN-为CCD板子输出的视频输出信号，CAM1_DO+/CAM1_DO-至CAM4_DO+/CAM4_DO-为主控输出的控制命令信号。

图5中给出了主控板的4路差分控制模块连接图，其原理和CCD板类似。

2.主控控制模块

主控控制模块为该发明的核心模块，该模块选用xilinx的spartan3-1200e，图6给出了其核心电路图，信号CAM1_RD[0…11]、CAM2_RD[0…11]、CAM3_RD[0…11]、CAM4_RD[0…11]从差分模块DS92LV18TVV串并转换过来，CAM1_TD[1…18]、CAM2_TD[1…18]、CAM3_TD[1…18]、CAM4_TD[1…18]为主控板通过DS92LV18TVV向CCD板发送命令信号。图6中还给出了FPGA外部Flash配置电路以及Jtag电路。

Claims

1.一种嵌入式高清全景摄像机，包括传感和采集模块、主控电路、传输模块，其特征在于壳体球形上设有多路传感器，每路传感器上设有信号线连接CCD采集模块输入端，CCD采集模块上设有CAM_DO+、CAM_DO-、CAM_RIN+、CAM_RIN-四根信号线，四根信号线连接差分信号处理模块的输入端，差分信号处理模块输出端的四根信号线通过网线连接到主控模块的差分接收器端，差分接收器将差分信号转换成并行信号连接主控模块Xilinx的spartan3-1200e的输入端，主控模块的输出端GIO_SNSR0至GIO_SNSR41分别连接视频压缩模块芯片和静态图像模块信号线，所述的视频压缩模块芯片和静态图像模块信号线连接千兆网传输模块信号线。

2.如权利要求1所述的一种嵌入式高清全景摄像机，其特征在于采集模块由传感器、控制器、高速串行传输模块及CCD电源驱动模块组成，所述的控制器芯片为D592LV18TVV，控制器芯片DIN0至DIN17接受单路CCD图像信号，控制器的13端和14端连接驱动模块U4的6端和1端，控制器的7端和8端连接驱动模块U5的6端和1端，控制器的13端和14端抽头连接传输模块P2的1端和2端，控制器的7端和8端抽头连接传输模块P2的3端和7端。

3.如权利要求1所述的一种嵌入式高清全景摄像机，其特征在于主控模块电路能完成多路CCD的控制、多路CCD图像预处理、多路图像的拼接处理以及整个系统的电源低功耗处理，主控电路模块由差分信号处理模块、数字信号处理器(FPGA)及外部存储器管理模块组成，所述的主控电路模块采用芯片为XiLinx的FPGA(spartan3-1200e)，主板上设有四根信号线连接四路差分信号处理模块，主板上设有外接FLASH配置电路和Jtag电路及大容量的存储器DDR2。

4.如权利要求1所述的一种嵌入式高清全景摄像机，其特征在于视频压缩与千兆网传输模块由视频H264压缩模块芯片信号线和静态图像JPEG2000压缩模块芯片信号线连接千兆网传输模块芯片信号线至监控中心显示。

5.如权利要求1所述的一种嵌入式高清全景摄像机，其特征在于壳体主体球孔的任意位置安装CCD，壳体主体可以替换为长方体、正方体、圆锥体。

6.一种嵌入式高清全景摄像机的方法，其特征在于该方法将多路视频信号线转换成低压差分信号，采用普通的千兆网线来传送，所述的第1路至n路传感器信号通过采集电路CCD和AD采样电路将CCD进来的数据CAMTD0至CAMTD17转换成低压差分信号，通过CAM_DO+、CAM_DO-输出，接受主控制板的控制命令是通过DS92LV18TW将差分信号CAM-RIN+、CAM_RIN-的数据转换成并行数据CAM_DO0至CAM_RO17，所述的4路CCD信号通过网线连接到主控制板上的4对差分信号电路，其中信号CAM1_RIN+/CAM1_RIN-至CAM4_RIN+/CAM4_RIN-为CCD板子输出的视频输出信号，CAM1_DO+/CAM1_DO-至CAM4_DO+/CAM4_DO-为主控输出的控制命令信号；主控控制模块为该发明的核心模块，信号CAM1_RD[0...11]、CAM2_RD[0...11]、CAM3_RD[0...11]、CAM4_RD[0...11]从差分模块DS92LV18TVV串并转换过来，CAM1_TD[1...18]、CAM2_TD[1...18]、CAM3_TD[1...18]、CAM4_TD[1...18]为主控板通过DS92LV18TVV向CCD板发送命令信号，所述主控模块的视频数据送入H264视频编码器和JPEG2000静态图片编码器，通过压缩完的数据传给千兆网至监控中心的显示器。

7.如权利要求6所述的一种嵌入式高清全景摄像机的方法，其特征在于将多路CCD采集的数据经过AD转换后，传送给并串转换器，并串转换器将并行的数字信号经过编码、抗串扰等算法处理后转成差分信号，通过网线传输给主控制板上的差分信号接收器。

8.如权利要求6所述的一种嵌入式高清全景摄像机的方法，其特征在于主控模块方法由差分信号处理模块接受CCD采集的图像信号，另外主控板向CCD板子发送的控制信号也通过该差分信号模块，CCD的控制参数如曝光时间、增益控制、帧率控制都通过该模块发送给CCD采集板，CCD采集过来的图像信号经过主控电路处理后送到后级的压缩模块；主控板的算法处理模块包括三个方面，一是CCD图像预处理算法，二是图像融合算法，三是电源管理算法。CCD图像预处理算法包括贝尔点阵插值、自动白平衡、图像增强算法；图像拼接算法采用基于Harris角点检测的快速拼接算法；电源管理算法主要是根据对采集的视频进行分析，判断当前场景所处的状态，从而来通过改变帧率和将部分硬件进入睡眠状态来达到降低功耗的要求；主控板上的控制算法都是采用的数字逻辑在FPGA上实现，保证了系统的实时性、灵活性和高可靠性。

9.如权利要求6所述的一种嵌入式高清全景摄像机的方法，其特征在于视频压缩与传输模块方法接受来自主控模块的视频数据，并将数据送入H264视频编码器、JPEG2000静态图片编码器，压缩完的码流按照RTSP协议通过过千兆网传给监控中心的显示终端，所述的H264、JPEG200编码器还能根据系统带宽要求实时的改变压缩性能充分使用当前的带宽。