CN102932635A - 一种实时图像处理系统及处理方法 - Google Patents

Abstract

本发明提出一种实时图像处理系统，包括图像采集装置、图像前端处理装置、数据传输装置、后台系统。图像采集装置采集图像后，采用实时图像处理方法对图像进行处理，图像前端处理装置进行全图比对，若超过阈值A，则进行重点区域对比，若超出阈值B，则将图像及相关数据通过数据传输装置递至后端控制/处理装置，后端控制/处理装置对数据进行分离、验证、解密等操作后，将数据交由后端数据存储装置存储。本系统实现了对监控区域状态变化自动侦测，自动剔除无效数据，智能拍摄的功能，降低了硬件成本和系统总价。

Description

一种实时图像处理系统及处理方法

技术领域

本发明涉及一种实时图像处理系统，以及基于该系统的实时图像处理方法。

 

背景技术

各类实验室的检验检测工作对保证各类产品的安全性和可靠性十分重要。通过法律和行政法规，国家对许多事关社会生产、社会生活、民众健康的产品进行强制检测和认证。例如质量技术监督部门对无线局域产品、玩具、装饰装修材料、安全技术防范产品、消防产品、医疗器械产品、乳胶制品、农机产品、安全玻璃、轮胎产品、机动车辆及安全附件、电信终端设备、 照明设备、信息技术设备、音视频设备类、家用和类似用途设备、电焊机、电动工具、小功率电动机、低压电器、电路开关及保护或连接用电器装置、电线电缆实行的3C强制认证。又如计量行政部门，对用于贸易结算、安全防护、医疗卫生、环境监测的计量器具，实行强制检定；对特高压输变电设备，也实施强制检定。再如工信部对工业产品质量控制和技术评价实验室、计量行政部门对形式评价实验室，都实施资格认定。

建设一个符合国家标准和行业标准的实验室，需要花费很多的人力物力财力。要想充分发挥实验室的检测能力，使检测和认证的过程得到完整地执行，需要依赖检测人员，因此，不可避免引入了道德风险因素。曾经出现过生产厂家和实验室工作人员为了经济利益相互勾结，以违法手段，略过一部分甚至全部检测步骤，伪造检测数据，直接出具认证报告和合格证明。这些报告和证明在社会上造成了各种明显或潜在的危害。为了规范检测认证工作，需要对检测认证过程中工作人员、待检物品、检测仪器、检测设备的状态和行为进行监控。

传统的基于视频流技术的监控系统和方法，由其基本机制造成的技术问题是数据量过大。即便采用了MPEG 4标准中H.264等较先进的视频编解码方法，连续的视频流累积起来的数据十分惊人，单个720P或1080P探头每小时采集的数据以G字节计，给数据的后端存储带来极大的压力，动辄需要TB级甚至PB级的存储系统支援，耗资惊人。巨大的数据量，带来的另一个问题就是数据的回看很不方便，很难迅速地在视频流中定位事件。此外，探头采集的视频数据，大多是无效的数据，例如无人的场景，偏偏这些数据还要大量占用存储空间，造成了不必要的浪费。

 

发明内容

针对以上技术问题，本发明提出了一种实时图像处理系统，该系统包括：图像采集装置，负责以固定或可变帧频采集监控点图像数据，并转化为数字信号。图像前端处理装置，每个图像前端处理装置对应一个或一个以上图像采集装置，负责的操作包括图像缓冲管理、分辨率重整、LUT表映射、全图比对、图像重点区域对比、获取或分配网络地址、获取硬件ID、获取时间戳、加密、生成校验码。数据传输装置，每个数据传输装置对应一个或一个以上图像前端处理装置，负责图像前端处理装置与后台系统的通讯，通讯工作包括将图像数据编码、打包后发送至后台系统，传输后台系统向图像前端处理装置发送的设置信息和命令信息，传输图像采集装置、图像前端处理装置向后台系统发送的状态信息和请求信息。后台系统包括：后端控制/处理装置、后端数据存储装置和时间服务器。后端控制/处理装置，负责的操作包括分配网络地址、接收数据传输装置发来的数据、解密数据、验证数据、分离数据内容、生成流媒体、接收并发送控制台指令、推送数据进入后端数据存储装置。后端数据存储装置，负责的操作包括：整体数据存储，分离后数据存储，流媒体存储。

实时图像处理系统中的图像采集装置为可见光传感器，或者红外传感器，或者X射线传感器，所述传感器的核心成像器件包括CCD或者CMOS。

实时图像处理系统中的数据传输装置支持TCP/IP协议，其数据链路层支持Wi-Fi即IEEE 802.11、WiMAX即IEEE 802.16、ARP、RARP、ATM、DTM、令牌环、以太网、FDDI、帧中继、GPRS、EVDO、HSPA、HDLC、PPP、L2TP、ISDN、STP、无线USB、超宽带UWB、近场通信NFC、蓝牙、ZigBee，其物理层支持同轴电缆、双绞线、光纤、电力线、无线电。

基于上述实时图像处理系统，实现了一种实时图像处理方法，其工作流程如下：

步骤Ⅰ：图像采集装置采集其视野范围内的数字图像并传递给图像前端处理装置；

步骤Ⅱ：图像前端处理装置将当前帧图像与前一帧图像进行全图比对，若图像变化小于阈值A，则跳转至步骤Ⅰ；当图像变化超过阈值A，则执行步骤Ⅲ；

步骤Ⅲ：图像前端处理装置将当前帧图像的重点区域与前一帧图像的重点区域对比，所述重点区域是安装图像采集装置时在其视野内划定的区域；若重点区域的变化小于阈值B，则跳转至步骤Ⅰ；若重点区域的变化大于阈值B，则执行步骤Ⅳ；

步骤Ⅳ：图像前端处理装置将前一帧图像和当前帧图像经前期处理后传送至数据传输装置；数据传输装置将前一帧图像和当前帧图像传送至后端控制/处理装置；

步骤Ⅴ：后端控制/处理装置将收到的图像数据进行后期处理后传送至后端数据存储装置。

上述实时图像处理方法步骤Ⅲ中的重点区域图像比对详细步骤为：

S21，首先读取序列图像，并通过前面的全图比对算法提取出目标的初始位置；

S22，计算目标的边缘方向直方图，用于描述目标；

S23，初始化卡尔曼滤波器的各个参数；

S24，读取下一帧图像；

S25，用卡尔曼滤波器预测目标的下一可能的位置；

S26，判断目标是否被遮挡。如果被遮挡，则将卡尔曼滤波器预测的位置作为目标的下一个时刻的位置。否则，先用卡尔曼滤波预测出目标的粗略位置，然后在这个位置用边缘方向直方图方法改进的 Mean Shift 算法迭代计算，取得更加精确的目标位置；

S27，重复S24，直到序列图像读取完毕。

上述实时图像处理方法步骤Ⅳ中的前期处理包括如下步骤：

Ⅳ.ⅰ图像前端处理装置获取相应的图像采集装置硬件ID；

Ⅳ.ⅱ图像前端处理装置从时间服务器中获取当前时间戳；

Ⅳ.ⅲ图像前端处理装置将自身的硬件ID、图像采集装置的硬件ID、时间戳组合附加在即将发送的图像后，对图像进行加密和电子签名操作；

所述步骤Ⅴ中的后期处理包括如下步骤：

Ⅴ.ⅰ验证接收数据的电子签名，若真实则进入下一步，若虚假则记录事件后发出警告；

Ⅴ.ⅱ对接收的数据进行解密操作；

Ⅴ.ⅲ从接收的数据中分离图像、图像采集装置硬件ID、图像前端处理装置硬件ID、时间戳；所述加密、解密操作使用对称加密或者公钥加密方法。

或者，上述实时图像处理方法，在所述步骤Ⅳ中的前期处理，包括如下步骤：

Ⅳ.ⅰ图像前端处理装置获取相应的图像采集装置的硬件ID；

Ⅳ.ⅱ图像前端处理装置获取自身时钟发生器生成的时间戳；

Ⅳ.ⅲ图像前端处理装置对图像进行Hash操作得到图像摘要；将图像摘要与图像前端处理装置硬件ID、图像采集装置硬件ID、时间戳组合衔接后进行Hash操作，得到验证码G；对验证码G加密后，将密文、图像前端处理装置硬件ID、图像采集装置硬件ID、时间戳与即将发送的图像联合存储；

在所述步骤Ⅴ中的后期处理包括如下步骤：

Ⅴ.ⅰ从接收的数据中分离图像、密文、图像采集装置硬件ID、图像前端处理装置硬件ID、时间戳；

Ⅴ.ⅱ对密文解密后得到验证码H；

Ⅴ.ⅲ对图像进行Hash操作得到图像摘要，将该图像摘要与接收的图像前端处理装置硬件ID、图像采集装置硬件ID、时间戳组合衔接后进行Hash操作，得到验证码J；

Ⅴ.ⅳ比对验证码H和验证码J，若H等于J，则接收的数据真实；若H不等于J，则接收的数据虚假，记录事件后发出警告。

上述实时图像处理方法中的加密、解密操作使用对称加密或者公钥加密方法；

当使用对称加密时，每个图像前端处理装置都对应一个唯一的密钥，加密/解密都使用此密钥；

当使用公钥加密方法时，每个图像前端处理装置都有公钥C和私钥D，后台系统有公钥E和私钥F；图像前端处理装置向后台系统传送数据时，使用私钥D对数据签名，用公钥E对数据加密，后台系统用公钥C验证签名有效性，用私钥F解密数据；后台系统向图像前端处理装置传送数据时，使用私钥F对数据签名，用公钥C加密数据，图像前端处理装置用公钥E验证签名有效性，用私钥D解密数据。

实时图像处理系统中，图像采集装置主要是以CMOS和CCD为核心成像器件的摄像探头，该类探头可以捕捉可见光和经红外光源照射后的红外反射光成像。CMOS器件摄像头的特点是：读取速度快、功耗低、噪声高、灵敏度低。CCD器件摄像头的特点是：读取速度慢、耗电大、图像质量好、灵敏度高。当现场光线不足时，摄像探头可附加可见光光源或红外光源。

图像采集装置还可以使用制冷型或非制冷型焦平面红外热像仪，被动接受物体红外辐射，配合热像仪内置的图像增强功能，如FLIR公司热成像细节增强DDE技术，也可以获得满足需求分辨率的图像。

在特殊应用场合，图像采集装置还可以用高精度X射线传感器实现高精度X射线成像。

图像采集装置，其采集图像的帧频，可以是固定的帧频，一般帧频为n帧/秒，n为小于等于240的自然数。常用的连续录制的帧频为24P、25P、30P、50P、60P，图像前端处理装置按此帧频不断比对相邻帧图像。为了减少传输的无效数据量，特别是受监控场所处于非工作时段时，图像前端处理装置可以进入心跳模式，每秒内只采集固定时间的相邻帧的二帧图像，或者m秒内按照n帧/秒的帧频获取相邻帧图像，通过全图比对单元中不断比对，其中m为大于或等于1的自然数。当现场图像变化没有超过阈值A时，按每秒一次或m秒一次的频率向后传递数据，超出阈值A时，传送连续帧向后进行重点区域比对。这样，既不丧失对场景的连续监控，又可以大幅降低无效数据的处理，节省硬件开销和电力消耗。

实时图像处理系统中，图像前端处理装置一般是以基于ARM、x86、PowerPC、MIPS的嵌入式CPU为基础，或者以DSP为基础，或者以FPGA、CPLD等大规模可编程逻辑器件为基础，或者在极低分辨率应用下使用16位及以上的高档高频单片机为基础。也可以以上述器件的混合结构为基础，比如使用了AMBA总线的ARM，或者是德州仪器的OMAP和达芬奇系列 DSP，或者是飞思卡尔的StarCore。使用上述器件，主要带来的好处是低功耗和低成本，包括显著降低了硬件成本和开发成本。也可以使用基于x86、x64架构的工控机和PC机作为图像前端处理装置，性能上足以胜任，但因体积、功耗、成本等方面的问题，不具备实用性和市场竞争力。

图像采集装置获取的数字信号，经必要的处理如低通滤波后，输入到图像前端处理装置中的全图比对单元中。所述全图比对单元比对单元可以是分立的ASIC，也可以是预置在DSP或单片机板卡上的用C语言编制的二进制代码，也可以是可编程逻辑器件CPLD或FPGA在内部专门构建的功能区域。所述的ASIC、DSP、可编程逻辑器件都根据图像采集装置分辨率进行了专门的设定。图像被分解为像素矩阵，每个像素进入全图比对单元为其辟出的专用存储区域。像素的表示信息，可以按RGB、YUV、YprPb、YcrCb、RsGB、RGsB、RGBs各类信号分解后存储。

 

步骤Ⅱ中全图比对算法如下：

前后相邻的两帧图像信息分别描述为                                                

和

                         （1）

                   （2）

其中

和

分别为第k帧和k+ 1帧中的背景, 

 和

 分别为两帧图像中的运动目标, 

和为运动对象在两帧图像间的运动矢量, 

、分别为k、k+ 1帧中的噪声。因此差分图像为:

     （3）

在（3）式中，

为运动目标引起的图像变化,，

为相邻帧间的背景差, 则是运动区域,

为残留噪声,即差分图像包括了运动区域和噪声。

阀值的计算：可利用循环迭代阂值法来进行目标检测的二值化处理。利用不断更新的子图像的直方图来选择最显著的峰值，通过循环迭代最终计算出阈值。这种方法随着循环的增加，对图像的局部特征考虑也越来越细致。

S11 图像的最大和最小灰度值 和,令阈值初值为： 

;

S12根据阈值

将图像分割成目标和背景，求出这两部分的平均灰度值

和;

      

S13其中Z(i, j)是图像上(i, j)点的灰度值, N(i, j) 是(i, j)点的加权值，一般取

。

求出新阈值：

;

S14如果，结束循环，否则，转到 S12。

 

判断：如果差分图像D (x, y)大于阈值, 则认为有运动事件发生,触发运动跟踪过程。

 

图像处理方法步骤Ⅲ中，利用目标跟踪模型实现重点区域图像比对的详细算法：

对整个目标跟踪过程的更为详细的描述如下：

S21 首先读取序列图像，并通过前面的全图比对算法提取出目标的初始位置

S22 计算目标的边缘方向直方图，用于描述目标

S23 初始化卡尔曼滤波器的各个参数

S24 读取下一帧图像

S25 用卡尔曼滤波器预测目标的下一可能的位置

S26 判断目标是否被遮挡。如果被遮挡，则将卡尔曼滤波器预测的位置作为目标的下一个时刻的位置。否则，先用卡尔曼滤波预测出目标的粗略位置，然后在这个位置用边缘方向直方图方法改进的 Mean Shift 算法迭代计算，取得更加精确的目标位置

S27 重复S24，直到序列图像读取完毕。

 

运动跟踪采用Mean Shift 算法，

1、首先建立初始帧图像中目标区域的特征值模型（目标模型）：

目标区域的中心为

，假设其中有n个像素用

表示，则目标模型表示

其中，

为目标窗中心及目标窗口内任意点的坐标向量，函数的作用是求点

的特征值，C为归一化常量。

随后建立其后的每帧图像中目标区域的特征值模型（候选目标模型）：

运动目标在第二帧以及以后的每帧中可能包含目标的区域称为候选目标，根据

帧的目标位置y ，以y 为搜索窗口的中心坐标计算当前帧的候选目标的特征空间，即计算N 帧中搜索窗口特征值μ的概率，候选目标模型的描述为：

                     （2.1）

随后取得目标模型与候选目标模型间的相似性度量：

2、采用 Bhattacharyya系数作为两个向量之间的相似性度量函数，其定义如下：

                            （2.2）

目标模型和候选模型之间的差异采用Bhattacharyya距离测量，取值范围为[0，1]，最小值0表示两个模型完全相同，最大值表示两则完全不同，具体形式如下：

 

                              （2.3）

3、运动目标进行定位算法：

假设以起始搜索点

为中心的目标模型为

，对式（2.2）进行泰勒展开，可得：

               （2.4）

其中

                         （2.5）

式（2.4）只有第二项随着y 变化，所以我们分析第二项，令

                         （2.6）

要使式（2.4）最大，就是要求式（2.6）最大，这样我们就可以计算 Mean Shift 向量：

                    （2.7）

4、“漂移”现象的处理算法

为解决运动目标跟踪过程中由于相似色块干扰出现的跟踪目标“漂移”现象，采用边缘方向直方图描述目标：

首先把图像转变成灰度图像。对于边缘检测，考虑灰度图像I ，使用水平和垂直两个 Sobel 算子分别对图像I 进行扫描，生成边缘图像

和

。则原灰度图像I 在点(x ,y)处的像素 I( x ,y)对应边缘图像

中相应位置的像素值为

，而对应边缘图像

中相应位置的像素值为

，可用公式（2.8）表示：

 

                          （2.8）

则像素点 I (x ,y)的梯度方向和梯度幅值分别用公式（2.9）和公式（2.10）表示。

                        （2.9）

                       （2.10）

对目标区域的所有像素点按照公式（2.9）求梯度方向

，然后将按等区间大小划分成t 个区间（这里设t  = 9）。最后累加每个区间内的所对应的梯度幅值 G( x  ,y)得到每个区间的梯度幅值

，如公式（2.11）中所示。这样我们以t 为横坐标，以

为列坐标就可以得到边缘方向直方图：

                        （2.11）

此时，采用卡尔曼滤波算法对目标运动状态进行预测，具体方法为：在某时刻先对过程状态进行估计，然后通过测量反馈进行更正。因此，可以将算法中的方程分为两大类，即：时间更新方程和测量更新方程。时间更新方程是用来通过当前状态值以及其误差协方差获得下一时刻状态的先验估计值；而测量更新方程则是用于反馈，通过反馈回来的测量值以及先验估计来获得更为准确的后验估计。

寻找在最小均方误差下

的估计值。设已知动态系统的状态方程和量测方程，它们分别为：

                           （2.12）

                            （2.13）

其中，

与

是已知的，

是测量到的数据。可通过下式求得

。

                      （2.14）

                       （2.15）

                           （2.16）

                            （2.17）

由式（2.13）可见，当我们已知

，利用前一个的估计值

与当前的测量值

，就可以得到

。如果是按式（2.15）计算的，即满足最小均方误差阵的

，将此

代入式（2.14），就得到我们所要求的最小均方误差阵条件下的

。如果初始状态的系统特性

及

已知，同时

令

又

将

代入式（2.20）可求得

，将此

代入式（2.19）可求得

，将此

代入式（2.18）可求得在最小均方误差条件下的

，同时将代入式（2.21）又可求得

，由又可求得

，由

又可求得

，由又可求得

，以此类推。故根据已知的矩阵：

，

，

，

以及观测到的

，就能得到所有的

，，…，

以及

，

，…，。

 

5、遮挡处理算法

遇到跟踪目标特征被遮挡时，此时将跟踪过程分成两个部分：遮挡部分和非遮挡部分，并分别进行处理。

首先对遮挡进行判断。由于目标被遮挡，目标的特征也被掩盖了，候选目标的特征 p(y)跟目标的特征q 之间的差异就比较大。前面我们采用Bhattacharyya 系数

作为目标模型与候选目标模型的相似性度量。此时，

的会迅速减少，因此可以利用的值来判断目标是否受到遮挡。

当目标被遮挡，

小于设定阈值

时，我们在取得目标前一时刻运动状态信息的基础上，采用卡尔曼滤波来估计目标的下一个位置。这样就可以得到一个目标的相对准确的位置，不至于丢失目标。

对非遮挡的处理。Mean Shift 是一个局部优化算法，只能收敛到邻近的局部最优值，当出现多个峰值时，初始点选取不当就会收敛到错误的峰值处。在实际跟踪过程中，基于 Mean Shift 跟踪算法通常把核窗口中心设置在前一次目标位置处，当目标运动幅度较小时，这种做法是可行的，但当目标发生大范围剧烈运动时，就会收敛到非目标位置，出现跟踪错误。而目标的运动跟前一个时刻的状态具有很大的相关性。同样的，我们可以采用卡尔曼滤波来改进这种状况。即，先用卡尔曼滤波预测目标的一个粗略的位置，然后采用 Mean Shift 算法对这个位置的周围迭代地进行搜索。这样就能获得一个比较精确的位置。最后更新滤波器的参数，更新目标的模型，为下一次搜索做好准备。

反之，当差分图像D (x, y)小于阈值

时，图像前端处理装置则认为当前帧图像与上一帧图像没有区别，丢弃上一帧图像，取下一帧图像。使用ASIC或DSP或可编程逻辑器件实现全图比对单元时，运算速度上ASIC>DSP>可编程逻辑器件，功耗上ASIC<DSP<可编程逻辑器件，扩展性和灵活性上ASIC<DSP<可编程逻辑器件。

 设置全图比对单元，是为了过滤监控过程中大量的无效图像数据。场景内没有人员活动，场景内的物品也没有状态变化，类似于这样的无效图像数据采集后毫无用处，进行后续处理会白白浪费计算能力、电力和通信带宽。使用全图比对单元后，所有无效图像数据都被其在第一时间拦截，用于后续运算、传输的器件/装置可以处于低功休眠/睡眠状态降低功耗。并且全图比对单元是只执行专用操作的单元，其内部结构在设计过程中可以进行专门的优化，单周期能执行多条指令，运算速度非常快，芯片面积小，内部晶体管数量少，价格便宜，便于大规模工业化应用，在采用ASIC时，上述优点最为突出。使用CPLD和FPGA内门电路构建全图比对单元，也可以达到ASIC相近的性能，还有不用流片，易于验证开发的优点。

图像前端处理装置除了使用全图比对单元对图像进行初筛外。还负责对图像缓冲管理、分辨率重整、LUT表映射、图像重点区域对比、获取或分配网络地址、获取硬件ID、获取时间戳、加密、生成校验码等工作。

在图像缓冲管理方面，通常采用乒乓缓冲操作方式。使用双口 RAM(DPRAM)、单口RAM(SPRAM)、FIFO等作为图像缓冲存储器。在第一个缓冲周期，将前一帧图像缓存到“数据缓冲模块1”；在第2个缓冲周期，通过“输入数据选择单元”的切换，将当前帧图像缓存到“数据缓冲模块2”，同时将“数据缓冲模块1”缓存的第1个周期前一帧图像通过“输出数据选择单元”的选择，送到 “后续运算处理模块”进行运算处理；在第3个缓冲周期通过“输入数据选择单元”的再次切换，将下一帧图像缓存到“数据缓冲模块1”，同时将“数据缓冲模块2”缓存的第2个周期的当前帧图像通过“输出数据选择单元”切换，送到“后续运算处理模块”进行运算处理。这种方法使图像进入流水线式处理，完成数据的无缝缓冲。

分辨率重整，主要是针对图像重点区域，只截取每帧图像中划定的重点区域进行比对处理，这样就降低了需要处理的图像分辨率和数据量，减轻了后续运算处理模块的负担，提高了处理速度，可以用低速廉价的器件来承担后续运算处理工作。具体的实现方法是为图像缓冲存储器建立一个镜像缓冲区。读取镜像缓冲区中每帧图像重点区域的数据，进行后续处理。直到传输阶段，才使用完整的一帧图像。

LUT表映射，是针对图像显示和打印需要而内置的调节功能。它将实际采样到的图像像素灰度值经过一定的变换如阈值、反转、二值化、对比度调整、线性变换等，变成了另外一个与之对应的灰度值。LUT表映射，还用于当图像采集装置采用高档专用CCD时，将每像素14bit到16bit的灰度，映射为操作系统、显示器的每像素8bit灰度。经LUT表映射后，可以起到突出图像的有用信息、增强图像的光对比度的作用，使最终在显示器上显示的图像、打印出的照片视觉效果最佳，更贴近图像采集装置所在现场的肉眼观察效果。LUT表可以是内置硬件，也可以用软件实现。硬件实现方式速度快，软件实现方式灵活性高。

图像前端处理装置，因为其对不同分辨率的图像采集装置处理能力不同，每个图像前端处理装置可以支撑一个或多个图像采集装置。当支持多个图像采集装置时，需要以图像前端处理装置为中心，对图像采集装置进行组网。在有多个图像前端处理装置情况下，需要以后端控制/处理装置为中心，对图像前端处理装置组网。所以，图像前端处理装置既要能为其支持的图像采集装置分配网络地址，也要能接受后端控制/处理装置为其分配的网络地址，还要能主动从后端控制/处理装置的请求获取网络地址。在地址分配上，主要支持TCP/IP、IPX/SPX、NETBEUI协议，便于与计算机系统集成。

每个图像采集装置、每个图像前端处理装置，都有独一无二的硬件ID。通过该硬件ID，可以准确地标识上述装置的地理位置和连接关系，方便实时图像处理系统的后台管理。硬件ID，与其采集、处理的图像紧密相连，是验证传送图像真实性重要依据。所以，图像前端处理装置需要具备存储/获取自身及与其相连的图像采集装置硬件ID的功能。图像前端处理装置可以手动采集硬件ID，也可以通过控制线路或者网络自动采集硬件ID，硬件ID通常存放在图像前端处理装置的寄存器或者内存或者FLASH中，一般以状态信息的方式向其他设备呈现。

图像前端处理装置获取时间戳、加密、生成校验码的操作，在后续图像处理方法中详述。

数据传输装置，每个数据传输装置对应一个或一个以上图像前端处理装置，负责图像前端处理装置与后台系统的通讯，通讯工作包括将图像数据编码、打包后发送至后台系统，传输后台系统向图像前端处理装置发送的设置信息和命令信息，传输图像采集装置、图像前端处理装置向后台系统发送的状态信息和请求信息。即完整支持OSI七层网络模型与TCP/IP四层网络模型。

由于支持的协议众多，可以根据现场条件采取合适的各层协议。在没有有线网络的地点，可以考虑通过电力线载波传输数据，或者通过无线电技术使用IEEE 802.11、IEEE 802.16、、GPRS、EVDO、HSPA、超宽带UWB、近场通信NFC、蓝牙、ZigBee传输图像等数据。在有有线网络的环境下，可以利用电话线、同轴电缆、双绞线、光纤，使用ATM、令牌环、以太网、FDDI、帧中继、HDLC、PPP、L2TP、ISDN、STP协议传输图像等数据。因为本实时图像处理系统经常需要远程监控，数据经常从广域网上传输，TCP/IP协议，是最为适用的传输协议。

实时图像处理系统中，后台系统通常是一台或一台以上计算机组成的服务器或服务器集群。所述服务器和服务器集群，最低限度必须实现后端控制/处理装置和时间服务器功能。分配网络地址、接收数据传输装置发来的数据、解密数据、验证数据、分离数据内容、生成流媒体、接收并发送控制台指令、推送数据进入后端数据存储装置等功能，通常是由服务器中Linux、Windows、Unix操作系统下的一系列应用程序实现。

时间服务器，可以是后台系统中一台单独的计算机，借助高精密的振荡时钟发生器或者解析GPS时钟信号或者与第三方授时中心服务器同步，获取毫秒级及以上精度的标准时间，提供给图像前端处理装置使用。时间服务器也可以是某台计算机上运行的一个服务，只能提供操作系统时间片级别的计时精度。在硬件成本受限时，时间服务器可以集成在图像前端处理装置中，变成了集成的时钟发生器，其实现可以通过片上系统的嵌入式操作系统支持，或者采用硅单晶片时钟脉冲输出等专用的廉价硬件结构。

后端数据存储装置一般是后台系统中一台或多台计算机构建的数据库服务器。数据可以存放在数据库服务器自带的磁盘上，也可以存放在与数据库服务器计算机相连的DAS直接连接存储、SAN存储区域网络和NAS网络附加存储设备中。通过Oracle、SQL Sever、DB2、My SQL、PostgreSQL等数据库软件对整体数据、分离后数据、流媒体数据进行管理和存储。

实时图像处理过程中，图像采集装置采集其视野范围内的图像并传递给图像前端处理装置。图像前端处理装置使用全图比对单元将当前帧图像与前一帧图像进行全图比对。判定图像变化是否小于阈值A，若小于则继续取下一帧图像与当前帧图像对比。若大于，则交由图像前端处理装置的后续运算处理模块进行处理。

后续运算处理模块中的处理，主要是将当前帧图像的重点区域与前一帧图像的重点区域对比。所述重点区域是安装图像采集装置时在其视野内划定的区域，重点区域一般由人工设定，若未人工设定则重点区域的默认范围为图像采集装置的全视野范围。重点区域对比时，用帧差法检测重点区域内的目标，所述目标包括在该区域内的人员、检测仪器、检测设备，以及人员的对待检物品、检测仪器、检测设备进行的动作，以及检测仪器、检测设备的状态变化；

如果超出阈值B，则图像前端处理装置对当前帧图像进行置前期处理。一种处理方式是获取相应的图像采集装置硬件ID，从时间服务器中获取当前时间戳，图像前端处理装置将自身的硬件ID、图像采集装置的硬件ID、时间戳组合附加在即将发送的图像后，对图像进行加密操作。经过前期处理后，图像前端处理装置将当前帧图像转交给数据传输装置，数据传输装置将当前帧图像传送至后端控制/处理装置。后端控制/处理装置对收到的图像数据进行包括如下步骤的后期处理：验证接收的数据的真实性，若虚假则记录事件后发出警告，记录一般以系统日志形式呈现，记录内容包括时间、相关图像前端处理装置的编号和地理位置、相关图像采集装置的编号和地理位置、监控区域的安全级别等信息。警告信息也有多种形式，比如在控制中心屏幕上弹窗、闪屏，通过报警器发出声响，直接给报警通知人员名单上的人发送短消息或录音电话等。若图像数据通过了真实性验证，则对接收的数据进行解密操作；从接收的数据中分离图像、图像采集装置硬件ID、图像前端处理装置硬件ID、时间戳，将上述信息分别存入数据库中。可以将图像采集装置硬件ID、图像前端处理装置硬件ID、时间戳以水印的形式直接打在图像上并存入数据库。为了方便浏览，还可以将图像数据压缩成动态JPEG流或者MPEG流后存入数据库。这种处理方式，最大的好处在于传输的图像是以密文形式递送的，不会被未授权的第二方看到图像内容，便于保护内部工作秘密和工作人员隐私。但带来的问题是加密需要占用不少计算资源，对图像前端处理装置造成了很大的压力，提升了图像前端处理装置的硬件成本。即便采用了专门的加密芯片，也是一笔硬件开销。

另一种前期处理方式是图像前端处理装置获取相应的图像采集装置的硬件ID；获取自身时钟发生器生成的时间戳；图像前端处理装置对图像进行Hash操作得到图像摘要；将图像摘要与图像前端处理装置硬件ID、图像采集装置硬件ID、时间戳组合衔接后进行Hash操作，得到验证码G；对验证码G加密后，将密文、图像前端处理装置硬件ID、图像采集装置硬件ID、时间戳与即将发送的图像联合存储。图像前端处理装置将联合存储数据转交给数据传输装置，数据传输装置将其传送至后端控制/处理装置。后端控制/处理装置从接收的数据中分离图像、密文、图像采集装置硬件ID、图像前端处理装置硬件ID、时间戳。对密文解密后得到验证码H。对图像进行Hash操作得到图像摘要，将该图像摘要与接收的图像前端处理装置硬件ID、图像采集装置硬件ID、时间戳组合衔接后进行Hash操作，得到验证码J；比对验证码H和验证码J，若H不等于J，则接收的数据虚假，记录事件后发出警告，警告记录和处理方式同上段。若H等于J，则接收的数据真实；数据的存储处理方式同上段。这种处理方式，仅需Hash操作和对验证码加密，硬件开销小，但图像数据在传输过程中无保护，即便通过SSL、HTTPS、VPN等方式加密保护，还是增加了系统的复杂度和成本。

在加解密过程中，无论是采用对称加密或者非对称公钥加密方法，还是Hash操作，可以从下列算法中挑选一种或是组合多种算法。

分组密码：CAST5，Camellia，Triple DES，AES，Blowfish，Twofish

非对称加密密码：ElGamal，RSA

加密Hash：RIPEMD-160，MD5，SHA-1，SHA-2，Tiger

数字签名：DSA，RSA

附图说明

图1为实时图像处理系统结构图；

具体实施方式

为详细说明本发明的技术内容、结构特征、实现的技术目的和技术效果，以下结合附图和实施方式进行详细说明。

实施例1

图像采集装置1采用基于1/3″ SONY vertical double-density interline CCD的摄像头，其扫描方式为2:1隔行扫描，分辨率在彩色模式下为560线，黑白增强模式下为600线，NTSC制式下有效像素为768×494，PAL制式下有效像素为752×582。

图像前端处理装置2是以德州仪器TMS320DM8147达芬奇数字媒体处理器为主芯片，附加相应外围设备后焊接成的印刷电路板。该数字媒体处理器集成了一颗最高频率750MHz的C674x DSP，一颗ARM Cortex-A8处理器，最高频率1000MHz。该数字媒体处理器设计能力为支持单路1080P编码，或者三路720P编码。因为此处使用该数字媒体处理器的DSP实现了全图比对单元21全部功能，并承担了重点区域6图像比对、图像缓冲管理、分辨率重整等工作，导致处理能力不足，只能处理二路720P编码，或者处理三路本实施例采用的图像采集装置1的图像数据。ARM Cortex-A8处理器负责：获取相应的图像采集装置1硬件ID；从时间服务器7中获取当前时间戳；获取自身时钟发生器生成的时间戳；将图像前端处理装置2硬件ID、图像采集装置1硬件ID、时间戳组合附加在即将发送的图像后，对图像进行加密操作；对图像进行Hash操作得到图像摘要；将图像摘要与图像前端处理装置2硬件ID、图像采集装置1硬件ID、时间戳组合衔接后进行Hash操作，得到验证码G；对验证码G加密后，将密文、图像前端处理装置2硬件ID、图像采集装置1硬件ID、时间戳附加在即将发送的图像后联合存储等操作。

数据传输装置3控制功能通过数字媒体处理器的ARM处理器实现。通过ARM的PCIe总线与以高通公司Gobi系列3G Modem芯片如MDM6085、MDM6270、MDM6200、MDM6600、MDM8200A、 QSC6270、QSC1105为核心构筑的发射单元进行通信。发射单元可以与图像前端处理装置2在同一电路板上，也可以作为分立部件。3G Modem芯片支持HSPA+ Rel7、1x/DO、GSM/EDGE等无线通信制式，即主流的GSM蜂窝网、CDMA、WCDMA都支持，在发射单元中插入任意一家移动通信运营商发布的手机SIM卡/UIM卡，就可以接入移动通信网，与后台系统通信，最高传输速率达21Mbps。

后台系统8是一组以x86指令集CPU为核心的服务器，服务器之间通过千兆级或万兆级以太网连接，服务器组通过光纤专线接入外网。后端控制/处理装置4为一台独立服务器，配置一颗或两颗四核心到八核心CPU，内存在4GB以上。后端数据存储装置5为独立服务器，配置八个到十六个SCSI或SAS接口的硬盘，存储量在1TB到5TB之间。时间服务器7与后端控制/处理装置4共用一台服务器。时间服务器7是一个运行在硬件服务器上的程序，通过与国家授时中心授时服务器同步，获取毫秒级精确时间。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明保护范围的限定，只要是采用本发明的技术方案，或者仅仅是通过本领域的普通技术人员都能作出的任何常规修改或等同变化，都落入本发明所要求保护的范围之中。

Claims (7)

1.一种实时图像处理系统，其特征在于包括：

图像采集装置（1），负责以固定或可变帧频采集监控点图像数据，并转化为数字信号；

图像前端处理装置（2），每个图像前端处理装置（2）对应一个或一个以上图像采集装置（1），负责的操作包括图像缓冲管理、分辨率重整、LUT表映射、全图比对、图像重点区域（6）对比、获取或分配网络地址、获取硬件ID、获取时间戳、加密、生成校验码；

数据传输装置（3），每个数据传输装置（3）对应一个或一个以上图像前端处理装置（2），负责图像前端处理装置（2）与后台系统（8）的通讯，通讯工作包括将图像数据编码、打包后发送至后台系统（8），传输后台系统（8）向图像前端处理装置（2）发送的设置信息和命令信息，传输图像采集装置（1）、图像前端处理装置（2）向后台系统（8）发送的状态信息和请求信息；

后台系统（8）包括：后端控制/处理装置（4）、后端数据存储装置（5）和时间服务器（7）；

后端控制/处理装置（4），负责的操作包括分配网络地址、接收数据传输装置（3）发来的数据、解密数据、验证数据、分离数据内容、生成流媒体、接收并发送控制台指令、推送数据进入后端数据存储装置（5）；

后端数据存储装置（5），负责的操作包括：整体数据存储，分离后数据存储，流媒体存储。

2.如权利要求1所述的实时图像处理系统，其特征在于：

所述图像采集装置（1）为可见光传感器，或者红外传感器，或者X射线传感器，所述传感器的核心成像器件包括CCD或者CMOS。

3.如权利要求1或2所述的实时图像处理系统，其特征在于：

所述数据传输装置（3）支持TCP/IP协议，其数据链路层支持Wi-Fi即IEEE 802.11、WiMAX即IEEE 802.16、ARP、RARP、ATM、DTM、令牌环、以太网、FDDI、帧中继、GPRS、EVDO、HSPA、HDLC、PPP、L2TP、ISDN、STP、无线USB、超宽带UWB、近场通信NFC、蓝牙、ZigBee，其物理层支持同轴电缆、双绞线、光纤、电力线、无线电。

4.一种实时图像处理方法，其特征在于所述实时图像处理方法的工作流程如下：

步骤Ⅰ：图像采集装置（1）采集其视野范围内的数字图像并传递给图像前端处理装置（2）；

步骤Ⅱ：图像前端处理装置（2）将当前帧图像与前一帧图像进行全图比对，若图像变化小于阈值A，则跳转至步骤Ⅰ；当图像变化超过阈值A，则执行步骤Ⅲ；

步骤Ⅲ：图像前端处理装置（2）将当前帧图像的重点区域（6）与前一帧图像的重点区域（6）对比，所述重点区域（6）是安装图像采集装置（1）时在其视野内划定的区域；若重点区域（6）的变化小于阈值B，则跳转至步骤Ⅰ；若重点区域（6）的变化大于阈值B，则执行步骤Ⅳ；

步骤Ⅳ：图像前端处理装置（2）将当前帧图像经前期处理后传送至数据传输装置（3）；数据传输装置（3）将当前帧图像传送至后端控制/处理装置（4）；

步骤Ⅴ：后端控制/处理装置（4）将收到的图像数据进行后期处理后传送至后端数据存储装置（5）。

5.如权利要求4所述的实时图像处理方法，其特征在于步骤Ⅲ中的重点区域（6）图像比对详细步骤为：

S21，首先读取序列图像，并通过前面的全图比对算法提取出目标的初始位置；

S22，计算目标的边缘方向直方图，用于描述目标；

S23，初始化卡尔曼滤波器的各个参数；

S24，读取下一帧图像；

S25，用卡尔曼滤波器预测目标的下一可能的位置；

S26，判断目标是否被遮挡，如果被遮挡，则将卡尔曼滤波器预测的位置作为目标的下一个时刻的位置，否则，先用卡尔曼滤波预测出目标的粗略位置，然后在这个位置用边缘方向直方图方法改进的 Mean Shift 算法迭代计算，取得更加精确的目标位置；

S27，重复S24，直到序列图像读取完毕。

6.如权利要求4或5所述的实时图像处理方法，其特征在于：

所述步骤Ⅳ中的前期处理包括如下步骤：

Ⅳ.ⅰ图像前端处理装置（2）获取相应的图像采集装置（1）硬件ID；

Ⅳ.ⅱ图像前端处理装置（2）从时间服务器（7）中获取当前时间戳；

Ⅳ.ⅲ图像前端处理装置（2）将自身的硬件ID、图像采集装置（1）的硬件ID、时间戳组合附加在即将发送的图像后，对图像进行加密和电子签名操作；

所述步骤Ⅴ中的后期处理包括如下步骤：

Ⅴ.ⅰ验证接收数据的电子签名，若真实则进入下一步，若虚假则记录事件后发出警告；

Ⅴ.ⅱ对接收的数据进行解密操作；

Ⅴ.ⅲ从接收的数据中分离图像、图像采集装置（1）硬件ID、图像前端处理装置（2）硬件ID、时间戳；

所述加密、解密操作使用对称加密或者公钥加密方法。

7.如权利要求4或5所述的实时图像处理方法，其特征在于：

所述步骤Ⅳ中的前期处理，包括如下步骤：

Ⅳ.ⅰ图像前端处理装置（2）获取相应的图像采集装置（1）的硬件ID；

Ⅳ.ⅱ图像前端处理装置（2）获取自身时钟发生器生成的时间戳；

Ⅳ.ⅲ图像前端处理装置（2）对图像进行Hash操作得到图像摘要；将图像摘要与图像前端处理装置（2）硬件ID、图像采集装置（1）硬件ID、时间戳组合衔接后进行Hash操作，得到验证码G；对验证码G加密后，将密文、图像前端处理装置（2）硬件ID、图像采集装置（1）硬件ID、时间戳与即将发送的图像联合存储；

所述步骤Ⅴ中的后期处理包括如下步骤：

Ⅴ.ⅰ从接收的数据中分离图像、密文、图像采集装置（1）硬件ID、图像前端处理装置（2）硬件ID、时间戳；

Ⅴ.ⅱ对密文解密后得到验证码H；

Ⅴ.ⅲ对图像进行Hash操作得到图像摘要，将该图像摘要与接收的图像前端处理装置（2）硬件ID、图像采集装置（1）硬件ID、时间戳组合衔接后进行Hash操作，得到验证码J；

Ⅴ.ⅳ比对验证码H和验证码J，若H等于J，则接收的数据真实；若H不等于J，则接收的数据虚假，记录事件后发出警告；

所述加密、解密操作使用对称加密或者公钥加密方法。

Images