CN102638674A

CN102638674A - 基于鱼眼校正技术的全方位视觉检测分析预警系统

Info

Publication number: CN102638674A
Application number: CN201210015392XA
Authority: CN
Inventors: 陈修海; 杨斌
Original assignee: NINGBO JIEHONG INFORMATION TECHNOLOGY Co Ltd
Current assignee: NINGBO JIEHONG INFORMATION TECHNOLOGY Co Ltd
Priority date: 2012-01-18
Filing date: 2012-01-18
Publication date: 2012-08-15

Abstract

本发明公开了一种基于鱼眼校正技术的全方位视觉检测分析预警系统，涉及一种智能视频分析装置，它解决了现有视频技术覆盖视角范围不够广等技术问题。它通过鱼眼镜头对监视场景实时拍摄图像，再利用视觉分析处理器将原始图像进行畸变校正，并利用图像虚拟检测算法，对场景利用规则进行实时检测；最后还能通过VGA视频解码器将编码数据流作解码，并以VGA方式输出，以便于远程监控管理。本发明的优点在于系统能实时采集超广角图像并校正为正常图像；系统可以根据自定义设置的规则进行视频虚拟报警输出，以产生全方位视觉检测分析预警图像。

Description

基于鱼眼校正技术的全方位视觉检测分析预警系统

技术领域

本发明公开了一种视频监控系统，具体地说是一种基于鱼眼校正技术的全方位视觉检测分析预警系统。

背景技术

由于鱼眼镜头视角通常达到或者超过180^o，鉴于其超大视角，被广泛应用于特殊场合监视、检测等方面。但是，由于其本身的视频失真现象，造成生成的图像变形严重，以至于畸变，所以必须进行校正。随着国内外视频监控领域技术信息发展，许多研究人员正通过解决校正鱼眼镜头产生的畸变图像问题来应用于诸多视频监控场合，比较有说服力的解决了传统视频监控在视角小问题而导致的监控死角问题。而常规的视频监控是被动的，所以基本上现在的应用是作用在事后的处理和取证上，不能有效的防止违法行为；并且人对长时间的监视器查看会导致注意力下降。中国专利局于2007年5月23日公开的，申请号为“200510095421.8”的“广角或超广角全方位视觉监控方法和系统”，它根据第一视觉图像信息或其附加信息的变化来检测目标物体的改变或运动,如在检测图像变化时直接使用连续的全方位图像,对先后图像相减运算,如果余量图像任一像素“DIFF”都大于预先设定的下限值,则对此像素小范围邻近的可疑象素作检验论证或进行报警。这种系统没有对畸变的图像进行校正，因此很容易出现误报。

发明内容

本发明的目的在于针对上述现有技术的缺陷和不足，为人们提供一种能实时采集超广角图像并校正为正常图像；系统可以根据自定义设置的规则进行视频虚拟报警输出，以产生全方位视觉检测分析预警图像的视觉检测分析预警系统。

本发明为了解决其技术问题，所采用的技术方案是：该基于鱼眼校正技术的全方位视觉检测分析预警系统，它包括一个鱼眼镜头、视觉处理分析器以及VGA视频解码器，所述的鱼眼镜头应用于视频图像采集，并与所述的视觉处理分析器连接，视频图像经视觉处理分析器处理完毕后，与所述的VGA视频解码器连接；

该视觉处理分析器将获取鱼眼镜头采集到的图像信息，并通过数个图像处理手段来完成设置的规则，该图像处理手段包括：

采集鱼眼原始图像并存储于视觉处理分析器内存；

根据采集图像的像素特点，引用内置图像畸变校正函数计算图像畸变率，并根据结果参数通过图像标定和图像畸变校正函数的变换来纠正畸变图像；

以校正后的图像为基准，调用内部虚拟视频检测算法库，通过视频虚拟线圈来获取相关视频中物体运动轨迹，并报警输出；

处理完毕后的图像，以H.264编码方式输出；

该VGA视频解码器是将所述的视觉处理分析器所编码产生的视频流，根据H.264解码方式进行解码，并最终以VGA方式输出。

所述的图像畸变校正函数为：

r_d=r_u*T(r_u)；其中：

畸变函数为r=

为点（Xd，Yd）到（Xc,Yc）的距离；

T(r)=1+k₁r²+k₂r⁴+k₃r⁹+…r_u是实际图像的坐标；

r_d对应畸变图像点的矢径坐标；

以上k为加权数值。

所述内部虚拟视频检测算法库是指周界安全防范算法，其函数为：

D_t+1(i)=D_t(i)exp[-y_ih_t(x_i)];

其中D_t(i)函数为计算移动物体的行动路径，并给出方向；

y_i为受检测物体数量；

h_t(x)为人行为分析函数，调用此函数能分辨该物体是否为人或其他物体；

i为变量参数；

所述的视觉处理分析器的处理步骤为：

①视觉处理分析器将采集1帧视频图像，并原始图像存储于该视觉处理分析器的内存中，并清空原有图像存储内存空间；

②视觉处理分析器的处理模块将查找图像存储内存更新内容，并读入到DSP处理列表，调用图像畸变校正函数进行处理，处理完毕后，存储于DSP分析列表；

③视觉处理分析器的分析模块将存储于DSP分析列表的图像内容更新清空，调用内部虚拟视频检测算法库，并将处理完毕后的图像存储于输出帧缓冲区；

④下一帧的视频数据采集循环以上①-③步骤；同时编码模块将缓冲区的视频经过H.264编码方式输出。

所述的VGA视频解码器的图像处理步骤为：

参照H.264解码方式，调用视频解码库对数字视频流解码，并存储于内存显示列表；

视频解码器中的显示控制单元通过内存显示列表读取所需显示数据，并将该数据直接输送到显存；

图像特征通过视频解码器的VGA接口输出。

本发明通过鱼眼镜头对监视场景实时拍摄图像，再利用视觉分析处理器将原始图像进行畸变校正，并利用图像虚拟检测算法，对场景利用规则进行实时检测；最后还能通过VGA视频解码器将编码数据流作解码，并以VGA方式输出，以便于远程监控管理。其优点在于系统能实时采集超广角图像并校正为正常图像；系统可以根据自定义设置的规则进行视频虚拟报警输出，以产生全方位视觉检测分析预警图像。

附图说明

图1为本发明结构示意图。

图2为本发明电路连接示意图。

图3为本发明安装使用时的示意图。

图4为本发明视频处理分析的流程图。

图5为视觉处理分析器的流程图。

附图标记：

1－鱼眼镜头；2－视觉处理分析器；3－VGA视频解码器； R1－视频虚拟区域；P1－视频人物。

具体实施方式

如图1、图2所示，本发明为一种基于鱼眼镜头1的全方位视觉检测分析预警系统，它包括一个鱼眼镜头1、视觉处理分析器2以及VGA视频解码器3，该鱼眼镜头1最好选用百万级高清的。所述的鱼眼镜头1应用于视频图像采集，并与所述的视觉处理分析器2连接，视频图像经视觉处理分析器2处理完毕后，与所述的VGA视频解码器3连接。

该视觉处理分析器2将获取鱼眼镜头1采集到的图像信息，并通过数个图像处理手段来完成设置的规则，该图像处理手段包括：

采集鱼眼原始图像并存储于视觉处理分析器2内存。

根据采集图像的像素特点，引用内置图像畸变校正函数计算图像畸变率，并根据结果参数通过图像标定和图像畸变校正函数的变换来纠正畸变图像。

以校正后的图像为基准，调用内部虚拟视频检测算法库，通过视频虚拟线圈来获取相关视频中物体运动轨迹，并报警输出。

处理完毕后的图像，以H.264编码方式输出。

所述的VGA视频解码器3是将所述的视觉处理分析器2所编码产生的视频流，根据H.264解码方式进行解码，并最终以VGA方式输出。

其图像畸变校正方法如下：

首先，获取原始图像数据，借用给定的上述图像校正模型，在既定的代表图像空间直线上采集点数，套用上述图像校正模型来恢复这些点位在实际空间位置，采用最小二乘法进行最终的拟合以产生最终场景图像。本图像畸变校正方法的特征点在于精确标定中心点和半径，从而更方便、提高DSP工作效率。

其虚拟视频检测方法如下：

首先，DSP处理器根据获取到的校正后图像信息；接着，根据上位机的设置决定检测区域以及类别，如是针对车辆或者人物的检测辨识，在虚拟内存中划定检测区域以及判定规则；然后，依据此检测区域和判定规则，辨识图像中移动物体是否有违法规则行为，若有即DSP处理器做存储该帧图像信息；循环多帧图像信息遵循上述步骤。依据所述特征点将图像信息进行有效辨识。在视频处理分析过程中警戒线是在摄像头的监视画面内划的一条线。目标横穿过这条线就会触发警报。

如图3所示，鱼眼镜头1被安装于可监控部分的顶部，以便对监视场地进行大范围摄像，视觉处理分析器2设置对进行视频虚拟区域R1部分场景的视频人物P1进入预警。之后，视觉处理分析器2将所得到的结果传送给VGA视频解码器3。当视频人物P1入侵该视频虚拟区域R1设定范围时，视觉处理分析器2会根据规则内容执行分析，有违反设定的规则即发生图片报警。

如图4、图5所示，本发明涉及的视觉处理分析器2的工作流程如下：

①视觉处理分析器2将采集1帧视频图像，并原始图像存储于该视觉处理分析器2的内存中，并清空原有图像存储内存空间。

②视觉处理分析器2的处理模块将查找图像存储内存更新内容，并读入到DSP处理列表，调用图像校正函数进行处理，处理完毕后，存储于DSP分析列表；

该鱼眼镜头1的成像过程可以大致给分成4个步骤：

第一步，在DSP内存中虚拟生产该图像的内存存放空间量，并矢量化；在该项过程中，本发明需建立一个校正数学模型，按照畸变特点，可以分为径向畸变和切向畸变，因切向畸变的因素可以不在计算范围内，因此本发明的需对径向畸变得到量化；图像畸变校正函数为：r_d=r_u*T(r_u)；其中：

畸变函数为r=

为点（Xd，Yd）到（Xc,Yc）的距离；T(r)=1+k₁r²+k₂r⁴+k₃r⁹+…r_u是实际图像的坐标，r_d对应畸变图像点的矢径坐标；以上k为加权数值；

第二步，设定空间中点被映射为实际空间的点，并计算该连接线的角度并存储于内存；本发明采用模式识别和回归分析方法，考虑用线性函数来拟合该空间点位位置，f(x)=ax+b;由于空间中存在的值可以转为平面法来计算，故（x_i,y_i）可以认为是空间某点的位置表示，有以上可以计算得到回归函数：

F(x)=a(x_i-x_i-1)+b

套用回归函数，可以将空间点位被量化存储。并根据校正函数特点结合鱼眼镜头1的特征点，在第三步以及第四步的过程中，在DSP处理过程中起到优化作用。

第三步，在虚拟内存中生成以上连线并与内存中原先矢量化的球面信息对比，得到第二版中点位的投影值；

第四步，将球面非线性调用校正函数，并得到新的空间值；

综上所述，可以将原先畸变的图像，经过所述的步骤进行校正并得到较佳的图像信息。

③视觉处理分析器2的分析模块将存储于DSP分析列表的图像内容更新清空，调用内部虚拟视频检测算法库，并将处理完毕后的图像存储于输出帧缓冲区。

该内部虚拟视频检测算法库主要是指周界安全防范算法，其函数为：

D_t+1(i)=D_t(i)exp[-y_ih_t(x_i)];

其中D_t(i)函数为计算移动物体的行动路径，并给出方向；

y_i为受检测物体数量；h_t(x)为人行为分析函数；调用此函数能分辨该物体是否为人或其他物体；i为变量参数；

本发明针对视频图像的实时分析检测，分别从所述的内存中获取相关图像信息并作网格化标定，给定初始化的案例并假设S={（x_i,y_i）}^m _i=1,当x_i

X,y_i=

，可以设定一个最大值参数T，并给出一个设定区间范围{Pt}^T _t=1,设定目标报警值为F；

初始化设定值Do（i）=1/m，并假设当前值Fo=1，t=0；当t<T且F_t>F时，遍历每个存储列表，有以下计算公式获得：

H(x)=

ln

,

当设定h_t由以下函数代替时，视频图像安全防范函数为所述函数。

h_t=

argmin

综上可以获得最终视频分析函数：

D_t+1(i)=D_t(i)exp[-y_ih_t(x_i)]；

以上是根据实例结合本发明的特征点来阐述基于鱼眼镜头1的全方位视觉检测分析预警系统，在视频处理分析过程中警戒线是在摄像头的监视画面内划的一条线。目标横穿过这条线就会触发警报。警戒线可以沿着四周创建（比如围墙），在入口前方创建，和顺着其他限制区域创建。根据不同的警戒线事件的设置，当目标从左到右，或则从右到左，或则从其他方向穿过警戒线时，可以触发警报。

双层警戒线是摄像头的监视画面中的2 条警戒线。目标在用户设定的时间周期内穿过了这2 条警戒线时，警报就会被触发。双层警戒线和警戒线有相同的使用目的，比如周界的保护或则其他限制区域的保护。

使用双层警戒线取代单条警戒线的最常见的主要原因如下：

你可以在使用单条警戒线的区域使用双层警戒线，因为波浪，阴影和树在风中摇摆等等引起了很多的误警。

双层警戒线必须以指定穿过这些警戒线的时间间隔的方式创建，这个间隔不能太长或则太短，而且有可能需要指定穿过警戒线的次序。所以一些测试是必须的，以确保穿过2 条警戒线的时间间隔是合理的。如果这个时间间隔不合理，事件可能监测不到。

为了在双层警戒线事件中触发警报，系统必须跟踪目标穿过2条警戒线。大多数时候，在摄像头的监视画面的某些部位是无法看见目标的，这时目标就无法被跟踪。例如，在2 条警戒线之间有一块大石头，由于被锁定的目标在穿过第2 条警戒线前，移动到大石头的后面，使得系统无法继续跟踪这个目标，在这种情况下，警报就可能不能被触发。

如果一个人了解到双层警戒线的一些设置，他可以通过在穿过这2 条警戒线时等待足够长的时间以避免被监测到。提示：如果你使用双层警戒线在阳光下进行监测，你可以尝试使用目标的阴影和方向过滤器结合到双层警戒线中，以减少误警。

④下一帧的视频数据采集循环以上①－③步骤；同时编码模块将缓冲区的视频经过H.264编码方式输出；而H.264视频编解码方式由ITU-T视频编码专家组（VCEG）和ISO/IEC动态图像专家组（MPEG）联合组成的联合视频组（JVT，Joint Video Team）提出的高度压缩数字视频编解码器标准。

Claims

1. 一种基于鱼眼校正技术的全方位视觉检测分析预警系统，其特征在于它包括一个鱼眼镜头（1）、视觉处理分析器（2）以及VGA视频解码器（3），所述的鱼眼镜头（1）应用于视频图像采集，并与所述的视觉处理分析器（2）连接，视频图像经视觉处理分析器（2）处理完毕后，与所述的VGA视频解码器（3）连接；

该视觉处理分析器（2）将获取鱼眼镜头（1）采集到的图像信息，并通过数个图像处理手段来完成设置的规则，该图像处理手段包括：

采集鱼眼原始图像并存储于视觉处理分析器（2）内存；

处理完毕后的图像，以H.264编码方式输出；

该VGA视频解码器（3）是将所述的视觉处理分析器（2）所编码产生的视频流，根据H.264解码方式进行解码，并最终以VGA方式输出。

2.根据权利要求1所述的基于鱼眼校正技术的全方位视觉检测分析预警系统，其特征在于所述的图像畸变校正函数为：

r_d=r_u*T(r_u)；其中：

畸变函数为r= 为点（Xd，Yd）到（Xc,Yc）的距离；

T(r)=1+k₁r²+k₂r⁴+k₃r⁹+…r_u是实际图像的坐标；

r_d对应畸变图像点的矢径坐标；

以上k为加权数值。

3.根据权利要求1所述的基于鱼眼校正技术的全方位视觉检测分析预警系统，其特征在于所述内部虚拟视频检测算法库是指周界安全防范算法，其函数为：

D_t+1(i)=D_t(i)exp[-y_ih_t(x_i)];

其中D_t(i)函数为计算移动物体的行动路径，并给出方向；

y_i为受检测物体数量；

i为变量参数。

4.根据权利要求1或2或3所述的基于鱼眼校正技术的全方位视觉检测分析预警系统，其特征在于所述的视觉处理分析器（2）的处理步骤为：

①视觉处理分析器（2）将采集1帧视频图像，并原始图像存储于该视觉处理分析器（2）的内存中，并清空原有图像存储内存空间；

②视觉处理分析器（2）的处理模块将查找图像存储内存更新内容，并读入到DSP处理列表，调用图像畸变校正函数进行处理，处理完毕后，存储于DSP分析列表；

③视觉处理分析器（2）的分析模块将存储于DSP分析列表的图像内容更新清空，调用内部虚拟视频检测算法库，并将处理完毕后的图像存储于输出帧缓冲区；

④下一帧的视频数据采集循环以上①－③步骤；同时编码模块将缓冲区的视频经过H.264编码方式输出。

5.根据权利要求4所述的基于鱼眼校正技术的全方位视觉检测分析预警系统，其特征在于所述的VGA视频解码器（3）的图像处理步骤为：

VGA视频解码器（3）中的显示控制单元通过内存显示列表读取所需显示数据，并将该数据直接输送到显存；

图像特征通过VGA视频解码器（3）的VGA接口输出。