CN103108158B - 基于dsp的强光局部选通的智能网络摄像机及摄像方法 - Google Patents

Abstract

本发明公开了一种基于DSP的强光局部选通的智能网络摄像机，包括在成像镜头后面设有分光棱镜，分光棱镜分出光强相同的两束光，在分光棱镜出光的直线方向后面设有液晶面板；在分光棱镜出光的垂直直线方向设有光纤光锥，光纤光锥与不带镜头CCD摄像机粘在一起，不带镜头CCD摄像机与DSP处理板一连接，DSP处理板一与信号转换模块和液晶驱动模块连接，液晶驱动模块与HTPS液晶面板连接，HTPS液晶面板后面设有带镜头CCD摄像机，带镜头CCD摄像机与DSP处理板二连接。本发明还公开了一种基于DSP的强光局部选通的智能网络摄像方法。本发明的摄像机，智能化、网络化、成本低，实现了视频的网络传输和实时存储。

Description

基于DSP的强光局部选通的智能网络摄像机及摄像方法

技术领域

本发明属于安防监控摄像技术领域，涉及一种基于DSP的强光局部选通的智能网络摄像机，DSP为DigitalSignalProcessor的缩写，表示数字信号处理器；本发明还涉及一种基于DSP的强光局部选通的智能网络摄像方法。

背景技术

目前的路面视频监控系统，由于成本的限制，大多使用的是监控摄像一体机，这种机型能满足一般的摄像要求，但是如果遇到恶劣天气或者各种眩光的时候，难于拍摄得到清晰的图像或视频。车辆在夜间行驶时开启的前大灯、周围建筑物的景观灯、照明灯等，相对于在夜间工作的交通监控摄像机来说属于强光源，在这种情况下，由于强光的照射，拍摄出来的图像在局部区域曝光过度，照片上的某些关键细节，例如汽车牌照就很难分辨出来。

为了拍摄强光下的目标物照片，一般采用光学选通或电学选通的传统方法。光学选通一般包括：改变摄像机的光圈大小、调整电子快门、加入偏振片等等。光圈和电子快门的控制，不论采取光圈优先还是快门优先的模式，都可以改变曝光量，但都是整体选通，以减小曝光量。另外，当改变光圈时，因衍射极限的影响，成像系统的分辨率将降低，从而使得系统探测精度降低。摄像系统中加入偏振片的主要作用是根据布儒斯特定律，滤除杂乱反射光，增加成像反差。电学选通一般是控制电压增益，改变积分时间等。电压增益调节只是作为一种辅助曝光控制，确定有一定灰度级的图像，但是只是针对全局图像，并且增益也同时放大了噪声，降低了信噪比。改变积分时间也是针对全局图像，则会导致曝光过强的区域越强或者曝光过弱的区域越弱，进一步降低了图像的分辨能力。由于均只能是针对整体光强选通的控制，而对于某个具体的局部区域光强过强时，无法进行选通控制。

在交通监控领域，目前主流采用同轴电缆传输或者采用基于模拟矩阵和光端机技术，但是模拟视频技术为主导地位，然而在多级传输过程中，需要多次进行A/D（模拟转数字）、D/A（数字转模拟）或者电光和光电转换，每次转换都在一定程度上导致视频信号的耗损，系统规模越大，传输层次越多，传输距离越长，视频耗损就越严重，导致图像质量无法保证。视频的连网监控，是通过RS232/485的低速数据通信来完成，但其数据的传输低、节点不能任意编号，不支持远程管理，这些特点使得联网范围受到限制。目前最新的技术是在视频前端采用SOC芯片集成了处理器和硬件H.264编码器，基于TCP/IP协议，以IP网络为媒介和网络硬盘为存储设备，构建了IP网络的全数字网络监控平台。虽然这在一定程度上解决了以上不足，但是SOC集成芯片增加了硬件H.264编码器，无疑增加了成本。

发明内容

本发明的目的是提供一种基于DSP的强光局部选通的智能网络摄像机，解决了强光下局部曝光过度而不能分辨细节，以及目前只能进行整体强光选通和使用硬件H.264编码传输的摄像问题。

本发明的另一目的是提供一种基于DSP的强光局部选通的智能网络摄像方法。

本发明所采用的技术方案是，一种基于DSP的强光局部选通的智能网络摄像机，包括一个焦距和光圈可调的成像镜头，在成像镜头后面设置有分光棱镜，分光棱镜分出光强相同的两束光，在分光棱镜出光的直线方向后面设置有一块HTPS液晶面板；在分光棱镜出光的垂直直线方向设置有一块光纤光锥，光纤光锥与不带镜头CCD摄像机通过光学胶粘在一起，不带镜头CCD摄像机输出端与DSP处理板一连接，DSP处理板一依次与信号转换模块和液晶驱动模块连接，液晶驱动模块与HTPS液晶面板连接，HTPS液晶面板后面设置有带镜头CCD摄像机，带镜头CCD摄像机输出端与DSP处理板二连接。

本发明所采用的另一技术方案是，一种基于DSP的强光局部选通的智能网络摄像方法，利用上述的摄像机，按照以下步骤实施：

成像镜头对向被拍照的目标物，目标物从成像镜头的出射光通过分光棱镜后的直线出射光在HTPS液晶面板上成像，通过分光棱镜后的垂直出射光在光纤光锥上成像，光锥光纤的图像像素点到点的传输到不带镜头CCD摄像机上，通过光电效应，将光学图像转化为电学视频图像输出给DSP处理板一，在DSP处理板一进行视频信号亮度的处理后，输出给信号转换模块，信号转换模块将PAL模拟视频信号转化为DVI接口的数字信号后传输给液晶驱动模块，液晶驱动模块对HTPS液晶面板的单个像素点的透过率进行控制，从而实现了对目标物成像镜头在HTPS液晶面板上的光学图像的单个像素点的亮度控制；

用带镜头CCD摄像机对已经选通完成的图像进行实时拍摄，进一步将处理完成的光学图像转化为电学图像，然后输出给DSP处理板二，DSP处理板二在软件层面上通过CodecEngine调用基于XDM算法封装中的H.264的视频处理算法，进行实时的视频压缩处理，然后基于TCP/IP协议，将压缩完成的视频进行符合TCP/IP协议的处理，通过以太网物理层PHY芯片进行数据的封装发送给网络接口，通过网线传输到PC机上，PC机利用上位机控制软件进行对视频信号的控制与存储，实现对视频的网络传输和实时存储，即成。

本发明的有益效果是：

1）利用液晶的电光特性对视频图像的亮度进行控制，在照度大于10⁵lx的强光下能进行局部选通，大大减弱视频图像像素点之间的相关度，减少利用处理器对视频图像进行处理的算法的复杂度。

2）能够精确到液晶的单个像素点透过率的控制，从而实现对视频图像中的单个像素点的亮度控制。

3）整套系统实现智能化、网络化，利用TI公司的DM6437处理器进行视频的H.264视频编码，实现视频的网络传输与实时存储。

4）所采用的高温聚硅HTPS（HighTemperaturePoly-Silicon）液晶驱动和DSP处理器均工作在低功耗状态，降低了整套系统的能耗。

附图说明

图1是本发明基于DSP的强光局部选通的智能网络摄像机的结构示意图；

图2是本发明方法采用DSP处理板进行视频处理的数据流向图；

图3是本发明方法采用DSP处理板进行视频处理的算法流程图。

图中，1.成像镜头，2.分光棱镜，3.HTPS液晶面板，4.光纤光锥，5.不带镜头CCD摄像机，6.DSP处理板一，7.信号转换模块，8.液晶驱动模块，9.带镜头CCD摄像机，10.DSP处理板二，11.PC机。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

如图1所示，本发明基于DSP的强光局部选通的智能网络摄像机的结构是，包括一个焦距和光圈可调的成像镜头1，在成像镜头1后面设置有分光棱镜2，分光棱镜2分出光强相同的两束光，在分光棱镜2出光的直线方向后面设置有一块像素为1024×768的HTPS液晶面板3；在分光棱镜2出光的垂直直线方向设置有一块光纤光锥4，光纤光锥4的小端与不带镜头CCD摄像机5的像敏单元通过光学胶粘在一起，不带镜头CCD摄像机5输出端与DSP处理板一6连接，DSP处理板一6依次与信号转换模块7及液晶驱动模块8连接，液晶驱动模块8再与HTPS液晶面板3连接，HTPS液晶面板3后面设置有带镜头CCD摄像机9，带镜头CCD摄像机9输出线与DSP处理板二10连接，DSP处理板二10的输出端与PC机11联网连接。

DSP处理板一6的核心处理芯片型号选用DM642；DSP处理板二10的核心芯片型号选用DM6437。

本发明基于DSP的强光局部选通的智能网络摄像方法，具体按照以下步骤实施：

成像镜头1对向被拍照的目标物，目标物从成像镜头1的出射光分为两路，一路是通过分光棱镜2后的直线出射光在HTPS液晶面板3上成像，另一路是通过分光棱镜2后的垂直出射光在光纤光锥4上成像，光锥光纤4的图像像素点到点的传输到不带镜头CCD摄像机5上，通过光电效应，将光学图像转化为电学视频图像输出给DSP处理板一6，在DSP处理板一6进行视频信号亮度的处理后，输出给信号转换模块7，将PAL模拟视频信号转化为DVI接口的数字信号传输给液晶驱动模块8，液晶驱动模块8对HTPS液晶面板3的单个像素点的透过率进行控制，从而实现了对目标物成像镜头在HTPS液晶面板3上的光学图像的单个像素点的亮度控制；另外，采用带镜头CCD摄像机9进行对已经选通完成的图像进行实时拍摄，进一步将处理完成的光学图像转化为电学图像，然后输出给DSP处理板二10，DSP处理板二10在软件层面上通过CodecEngine调用基于XDM算法封装中的H.264的视频处理算法，进行实时的视频压缩处理，然后基于TCP/IP协议，将压缩完成的视频进行符合TCP/IP协议的处理，通过以太网物理层PHY芯片进行数据的封装发送给网络接口，通过网线传输到PC机11上，在PC机11上利用上位机控制软件进行对视频信号的控制与存储，实现了对视频的网络传输和实时存储。

本发明基于DSP的强光局部选通智能网络摄像机，分为基于液晶的强光局部选通和基于DSP的视频编解码两部分。

第一部分，液晶对光强的控制，利用了液晶的空间光调制技术，将液晶作为一种动态可调节的光强控制器置于整个系统之中，由于液晶的扭曲向列效应和场致指向矢排列效应以及其电光特性，可以控制单个像素的透过率。

HTPS液晶面板3的结构主要由偏振片、玻璃基板与取向膜、扭曲向列型液晶、透明电极与薄膜晶体管TFT（ThinFilmTransistor）驱动阵列构成。首先在液晶层的两侧是取向膜与玻璃基板，取向膜是玻璃基板与液晶接触的面上涂的一层高分子聚合物，这层高分子膜是经过特殊的定向摩擦，具有锚定与其接触的液晶分子的排列方向，并且上下两侧取向膜的锚定方向是正交的。由于液晶分子材料具有较小的粘滞系数，所以其易受分子间作用力的影响，这就使得一侧的液晶分子的指向矢均匀的扭曲90°到与另外一侧的取向膜一致的方向。玻璃基板内层每隔一个像素的距离有一个薄膜晶体管TFT，其两端是源极和漏极电极，通过栅极绝缘膜与源、漏极对应的是栅极，利用施加于栅极的电压来控制源极和漏极间的电流，其中源极接数据线，漏极接像素电极，栅极接控制脉冲，每一像素点都有自己独立的栅极线、数据线、电容线，因此各个像素间是相互独立的，都是由集成在其后的薄膜晶体管来驱动，这将有利于进行实时的强光局部选通的处理。最后贴在玻璃面板外层的是偏振片，上下两层偏振片分为作为起偏器和检偏器，起偏器的偏振化方向与它一侧的取向膜方向一致，检偏器的偏振化方向与它一侧的取向膜方向也一致，即偏振片偏振化方向也是相互正交的。偏振片的作用是使得自然光转化为某个固定方向的线偏振光，如果不加偏振片，即使给液晶加上调至电压，也会导致液晶透过率基本相同，无法实现调制作用，而偏振片质量的好坏也会对光强产生较大影响。

HTPS液晶3在强光局部选通过程中的工作原理是，当在液晶像素之间未加电压时，由于液晶分子间的相互作用力，液晶分子的指向矢将随着液晶层两侧的取向膜由上而下均匀扭转90°。当入射自然光首先经过起偏器后，形成线偏振光，偏振化方向与入射面液晶指向矢方向平行，由于液晶的旋光和双折射特性，入射偏振光透过扭曲的液晶层时，入射光的偏振化方向也发生改变，而合适的液晶层厚度能确保出射光能线偏振光，出射光的偏振化方向与下层的指向矢方向一致，即线偏振光也跟着旋转了90°，这就保证了它与检偏器的通光方向一致，此时光强透过率最大。而当液晶分子受到电场力作用时，电场方向垂直穿过液晶层，液晶分子的长轴方向将产生感应偶极矩，使得液晶分子长轴指向矢收到电场力的作用向电场方向发生旋转，其空间排列状态发生改变，90°的均匀扭曲螺旋结构遭到破坏，液晶分子旋转的角度与施加的电场作用力有关。当施加的电压到一定值时，液晶长轴分子旋转到与电场方向一致，此时入射光进入液晶层，液晶失去了对入射线偏振光的旋光作用，线偏振光状态没有发生变换，导致不能从检偏器出射，此时入射光透过率达到最小值。由上可知，只要通过改变施加到液晶层之间的电压值，即可以控制入射光的透过光强大小，从而可以在路面交通监控中消除强光带来的局部曝光过度影响。

对于TFT-LCD而言，通过调制电压值V的大小，可以使得液晶旋转θ角，调制电压V与液晶旋转角度θ关系为：

$\mathrm{\θ}=\left\{\begin{array}{cc}0& (V\≤V_c)\\ \frac{\mathrm{\π}}{2}-2\arctan [\exp -|\frac{V-V_c}{V_0}\left|\right]& (V>V_c)\end{array}\right.$

其中V_c是液晶分子开始发生偏转时的电压即阈值电压，V₀是当液晶旋转角度θ为49.6°时候施加的某一固定电压值。

由于液晶分子发生θ角度的旋转，导致液晶双折射也会发生改变，液晶双折射n_e(θ)与液晶旋转角度θ的关系如下：

$\frac{1}{{n_e}^2\left(\mathrm{\θ}\right)}=\frac{\mathrm{co}{s}^2\mathrm{\θ}}{{n_o}^2}+\frac{\mathrm{si}{n}^2\mathrm{\θ}}{{n_e}^2}$

其中n_o为寻常光的折射率，n_e为与寻常光正交的方向上的折射率，即非常光的折射率。

由于液晶电控双折射发生变化，进一步改变光强透过率，光强透过率如下：

其中I₀为入射前的光强，为液晶光轴和起偏器透射轴的夹角，n₀(λ)为寻常光的折射率，n_e(λ)为非寻常光的折射率，d为液晶厚度，λ为入射光的波长。

第二部分，DSP处理器控制液晶驱动的实现

参照图2，强光照射下的目标物通过镜头成像在CCD传感器上，由于光电效应将光学图像转换为电学图像信号。CCD传感器感光面积为4.8mm×3.6mm，分辨率为792(H)×698(V)，水平清晰度为540电视线。由CCD输出的视频信号是标准的PAL制式电视模拟信号，每帧画面625行，分为两场，每场为312.5行，隔行扫描，场频为50HZ，行频为15625HZ，视频带宽为6MH，它包含了一些场同步、行同步信号和有效视频信号PAL信号。通过视频解码芯片TVP5150，视频模拟信号通过一个内部的钳位电路将交流耦合视频信号整体抬高到某个固定直流电压，然后通过一个可编程增益放大器将电压放大到2倍Vpp（峰峰值电压），之后进行十位AD采样和量化，模拟视频信号变为数字视频信号，进一步通过Y/C分离器，亮度信号和色差信号进行分离，分离之后的信号分别进行一些预处理，例如亮度信号要进行峰值滤波器及延迟等，色差信号要进行低通滤波、五线自适应梳状滤波器、陷波滤波器及延迟等。处理后的亮度和色度信号可以进行对比度、亮度、饱和度的自适应调节，然后进行合成编码输出为八位并嵌入了同步信号的YUV4:2:2格式视频信号，在编码过程中，亮度信号和色差信号的取样频率分别为13.5MHZ和6.75MHZ，取样结构为正交结构，即每行中的R-Y和B-Y取样与奇次（1，3，5…）Y的取样同个位置，按照行、场、帧重复，接着对亮度信号和两个色差信号进行线性PCM编码，每个采样点八位量化，并且不使用A/D转换的整个动态范围，只给亮度信号分配220个量化级，黑电平对应于量化级16，白电平对应于量化级235，同步信号对应于量化级0和255，为色差信号分配224个量化级，色差信号的零电平对应于量化级128，即标准的ITUBT.656信号。TVP5150芯片的初始化可以通过I2C总线进行控制与配置。

实施例

在强光局部选通实验中，采用的是TMS320DM642芯片，它是TI公司推出的一款32位定点DSP，主要面向多媒体处理领域，C64x的内核结构，工作频率由内部倍频器设置，可达到500MHz、600MHz和720MHz，相应的时钟周期为2ns、1.67ns和1.39ns，每秒可执行的指令数为4000MIPS、4800MIPS和5760MIPS，并且它包含了很多的资源，可无缝连接很多外设端口，包括PAL制式的视频端口、4M×64bit的SDRAM（SynchronousDynamicRandomAccessMemory，同步动态存储器），可存储多达32帧动态图像，以及8~32M位的Flash，可写进大量程序，具备自启动功能，还有10~100M的以太网端口和板上JTAG仿真接口等，如此高的处理速度和丰富的外部资源接口完全可以响应和处理强光局部通视频的需要。

参照图3，在DSP视频处理算法设计中，由于程序在同步动态随机存储器中是掉电丢失的，所以需要通过Flashburn工具将程序烧写到外部flash中，然后当DSP板子上电时，将会自动完成bootload上电引导，将flash中的程序搬运到RAM中，然后CPU在内部RAM中完成取指、译码、执行等操作。首先在硬件最底层完成的是芯片级初始化和板级初始化，对寄存器进行配置与控制，接着在外部同步动态随机存储器中开辟3个输入视频缓冲区与3个输出视频缓冲区，接着初始化捕获视频和显示视频设备驱动程序，然后利用I2C总线配置视频解码和编码模块，紧接着开始通过DM642的Vport口捕获视频到视频捕获FIFO寄存器中，设置的捕获门限为90像素数，一旦达到这个阈值，捕获视频驱动将实时的将这些像素值通过EDMA搬运到SDRAM中开辟的视频捕获缓冲区中，一共可以存储3帧的图像，然后再利用EDMA管理的另外一个通道将缓冲区一行的视频图像的亮度信号搬运到内部RAM中，接着CPU开始逐像素扫描，如果亮度值大于设定的阈值灰度，则将其取反，如果小于阈值灰度值，则保持亮度值不变，处理完之后将一行中的像素亮度值的存放地址首尾倒置后存放，这是由于分光棱镜进入带光纤光锥的CCD那一侧，光学图像左右又倒置了一次，所以必须在DSP中将图像继续做一次左右倒置，这样才能与通过分光棱镜成像在液晶上的像形成一一对应的关系。CPU处理完一行后，将处理完的数据通过EDMA搬运到外部存储器视频显示缓冲区，然后继续循环处理直至一场的完成后，此时向视频驱动发送命令将输入视频缓冲区进行切换，提交存储的最新的视频将其交给处理程序使用，将交还的缓冲区进行存储更新的视频。如此反复运行这些程序，直至断电或者不可预料的情况发生时，任务强制退出，释放到所有占用的资源和视频通道。

在HTPS液晶3的面板之后，用一块带镜头CCD摄像机9进行实时拍摄选通之后的光学图像，之后利用TI公司的DSP达芬奇系列DM6437，进行视频的H.264压缩编码。现在一般使用硬件H.264编码，虽然在处理性能上好于软件，但是软件H.264编码由于算法源代码是公开的，所以基本上无需成本，而且开源的算法保证其不断的结构优化和算法效率优化，使之在一定程度上性能越来越接近于硬件编码。在DM6437开发板使用过程中，包括上电Bootload，硬件和软件所有的初始化和使用DM642基本相似，主要区别在于算法代码。在DM6437的软件设计框架中，底层是CCD视频驱动，中间层是DSP/BIOS实时操作系统平台，在这个平台上通过利用CodecEngine调用符合XDM算法封装的H.264视频压缩算法到上层的应用程序中，从而实现了整个视频编码模块的处理。

本发明的摄像机，经过测试实验，电路处理时间在17微秒左右，而液晶的旋转延迟时间在20毫秒左右，在大多数运动量不是很大的目标物情况下，完全可以满足强光的局部选通。

Claims (1)

1.一种基于DSP的强光局部选通的智能网络摄像方法，其特征在于，利用一种基于DSP的强光局部选通的智能网络摄像机，其结构是：

包括一个焦距和光圈可调的成像镜头(1)，在成像镜头(1)后面设置有分光棱镜(2)，分光棱镜(2)分出光强相同的两束光，在分光棱镜(2)出光的直线方向后面设置有一块HTPS液晶面板(3)；在分光棱镜(2)出光的垂直直线方向设置有一块光纤光锥(4)，光纤光锥(4)与不带镜头CCD摄像机(5)通过光学胶粘在一起，不带镜头CCD摄像机(5)输出端与DSP处理板一(6)连接，DSP处理板一(6)依次与信号转换模块(7)和液晶驱动模块(8)连接，液晶驱动模块(8)与HTPS液晶面板(3)连接，HTPS液晶面板(3)后面设置有带镜头CCD摄像机(9)，带镜头CCD摄像机(9)输出端与DSP处理板二(10)连接；所述的DSP处理板一(6)用于控制液晶驱动的实现；所述的DSP处理板二(10)用于实现视频的压缩编码与网络传输与存储；

利用上述的基于DSP的强光局部选通的智能网络摄像机，本方法按照以下步骤具体实施：

成像镜头(1)对向被拍照的目标物，目标物从成像镜头(1)的出射光通过分光棱镜(2)后的直线出射光在HTPS液晶面板(3)上成像，通过分光棱镜(2)后的垂直出射光在光纤光锥(4)上成像，光锥光纤(4)的图像像素点到点的传输到不带镜头CCD摄像机(5)上，通过光电效应，将光学图像转化为电学视频图像输出给DSP处理板一(6)，在DSP处理板一(6)进行视频信号亮度的处理后，输出给信号转换模块(7)，信号转换模块(7)将PAL模拟视频信号转化为DVI接口的数字信号后传输给液晶驱动模块(8)，液晶驱动模块(8)对HTPS液晶面板(3)的单个像素点的透过率进行控制，从而实现了对目标物成像镜头在HTPS液晶面板(3)上的光学图像的单个像素点的亮度控制；

用带镜头CCD摄像机(9)对已经选通完成的图像进行实时拍摄，进一步将处理完成的光学图像转化为电学图像，然后输出给DSP处理板二(10)，DSP处理板二(10)在软件层面上通过CodecEngine调用基于XDM算法封装中的H.264的视频处理算法，进行实时的视频压缩处理，然后基于TCP/IP协议，将压缩完成的视频进行符合TCP/IP协议的处理，通过以太网物理层PHY芯片进行数据的封装发送给网络接口，通过网线传输到PC机(11)上，PC机(11)利用上位机控制软件进行对视频信号的控制与存储，实现对视频的网络传输和实时存储，即成。