CN104657940B - 畸变图像校正复原与分析报警的方法和装置 - Google Patents

Abstract

本发明公开了一种畸变图像校正复原与分析报警的方法和装置，其中方法包括：接收畸变镜头采集到的原始畸变图像，获取所述原始畸变图像中各坐标点的原始畸变坐标；获取预存储的所述畸变镜头的畸变参数，确定所述原始畸变图像中各坐标点的复原坐标，获得复原后图像。本发明采用预存储的畸变镜头的畸变参数来对畸变镜头采集到的图像进行校正复原处理，获得无失真的图像，使显示的画面接近真实场景，且复原后的图像具有大视角的特点，避免了普通视角拍摄存在的盲区和死角，有利于在安防监控环境中对突发事件的捕获，提高安防报警的准确性。

Description

畸变图像校正复原与分析报警的方法和装置

技术领域

本发明涉及到图像处理技术领域，特别涉及到畸变图像校正复原与分析报警的方法和装置。

背景技术

在安防视频监控领域，普通的视频监控探头会存在很多的盲区和死角，使得不法分子有机可乘。如果在普通监控的盲区和死角针对性的安放鱼眼监控探头，进行实时视频分析，便可以对这些死角和盲区的安全及突发的事件（如遗留物检测，物品监控）等，起到很好的安全快速预警的作用。鱼眼镜头是一种焦距极短、且视角接近或等于180°的镜头，它是一种极端的广角镜头。为使镜头达到最大的摄影视角，这种摄影镜头的前镜片直径且呈抛物状向镜头前部凸出，与鱼的眼睛颇为相似，鱼眼镜头因此而得名。鱼眼镜头属于超广角镜头中的一种特殊镜头，它的视角力求达到或超出人眼所能看到的范围。但其不足为图像严重失真，近景极大、远景极小，导致得到的图像与人们眼中的真实世界的景象存在着很大的差别。

发明内容

本发明的主要目的为提供一种畸变图像校正复原与分析报警的方法和装置，能对采集到的畸变图像进行很好的校正复原。

本发明提出一种畸变图像校正复原与分析报警的方法，包括步骤：

接收畸变镜头采集到的原始畸变图像，获取所述原始畸变图像中各坐标点的原始畸变坐标（x_d’，y_d’）；

获取预存储的所述畸变镜头的畸变参数（k₁，k₂），确定所述原始畸变图像中各坐标点的复原坐标（x_u’，y_u’），获得复原后图像。

优选地，所述畸变镜头的畸变参数（k₁，k₂）的标定步骤包括：

接收畸变镜头采集到的样本图像和普通镜头采集到的样本图像；

获取所述畸变镜头采集到的样本图像中标定特征的有畸变坐标（x_d，y_d）和所述普通镜头采集到的样本图像中标定特征的无畸变坐标（x_u，y_u）；

将所述有畸变坐标（x_d，y_d）和无畸变坐标（x_u，y_u）代入公式：

经n次迭代后，获得畸变参 数（k₁，k₂），其中，（x_di，y_di）为第i次迭代后的有畸变坐标，r_i-1为第i-1次迭代后的样本图像 半径，初始值为

优选地，所述获取畸变镜头采集到的样本图像中标定特征的有畸变坐标（x_d，y_d）和所述普通镜头采集到的样本图像中标定特征的无畸变坐标（x_u，y_u）的步骤包括：

分别对所述畸变镜头采集到的样本图像和普通镜头采集到的样本图像进行二阶图像灰度化处理，获得畸变样本灰度图和普通样本灰度图；

采用边缘检测算法，分别对所述畸变样本灰度图和普通样本灰度图进行边缘检测，获得畸变样本轮廓图和普通样本轮廓图；

采用霍夫变换算法，分别对所述畸变样本轮廓图和普通样本轮廓图中的标定特征进行检测，获得所述有畸变坐标（x_d，y_d）和无畸变坐标（x_u，y_u）。

优选地，所述确定原始畸变图像中各坐标点的复原坐标（x_u’，y_u’）的步骤具体包括：

将所述原始畸变坐标（x_d’，y_d’）和畸变参数（k₁，k₂）代入公式：

经n’次迭代后，获得复 原坐标（x_u’，y_u’），其中，（x_di’，y_di’）为第i次迭代后的原始畸变坐标，r’_i-1为第i-1次迭代后 的原始畸变图像半径，初始值为

优选地，所述确定原始畸变图像中各坐标点的复原坐标（x_u’，y_u’）的步骤之后还包括：

获取所述畸变镜头的方向角（α，β，γ）；

根据所述畸变镜头的方向角（α，β，γ）和所述复原坐标（x_u’，y_u’），对畸变矩阵做空间位置的变化，获得所述畸变镜头的方向角（α，β，γ）对应的复原坐标（x_u”，y_u”）。

优选地，所述根据畸变镜头的方向角（α，β，γ）和所述复原坐标（x_u’，y_u’），对畸变矩阵做空间位置的变化，获得所述畸变镜头的方向角（α，β，γ）对应的复原坐标（x_u”，y_u”）的步骤具体包括：

将所述复原坐标（x_u’，y_u’）代入公式：获得镜头坐标（x_c，y_c，z_c）， 其中，f为所述畸变镜头的等效焦距；

将所述畸变镜头的方向角（α，β，γ）和镜头坐标（x_c，y_c，z_c）代入公式：获得所述畸变镜头的方向角（α，β，γ）对 应的复原坐标（x_u”，y_u”），其中，为所述畸变镜头的光学特征参数矩阵，为平移矢量。

优选地，所述获取预存储的所述畸变镜头的畸变参数（k₁，k₂），确定所述原始畸变图像中各坐标点的复原坐标（x_u’，y_u’），获得复原后图像的步骤之后还包括：

采用插值算法，修补所述复原后图像中的空洞坐标点；

根据所述原始畸变图像的原始畸变坐标与所述复原后图像的复原坐标之间的对应关系，将所述原始畸变坐标的像素值还原到所述复原坐标上。

所述获取预存储的所述畸变镜头的畸变参数（k₁，k₂），确定所述原始畸变图像中各坐标点的复原坐标（x_u’，y_u’），获得复原后图像的步骤之后还包括：

对多帧复原后图像进行自适应背景学习，获得参考背景；

根据参考背景，采用图像分割算法，对后续的复原后图像进行分割处理，提取差异目标特征；

对所述差异目标特征做过滤处理，排除差异目标特征在过滤范围内的复原后图像；

采用在过滤范围外的差异目标特征对后续的复原后图像进行差异目标特征的运动匹配跟踪；

当持续存在差异目标特征的复原后图像的帧数超过预设帧数时，将所述复原后图像记录为发生突变的图像，并报警。

本发明还提出一种畸变图像校正复原与分析报警的装置，包括：

获取模块，用于接收畸变镜头采集到的原始畸变图像，获取所述原始畸变图像中各坐标点的原始畸变坐标（x_d’，y_d’）；

校正模块，用于获取预存储的所述畸变镜头的畸变参数（k₁，k₂），确定所述原始畸变图像中各坐标点的复原坐标（x_u’，y_u’），获得复原后图像。

优选地，所述畸变图像校正复原与分析报警的装置，还包括参数标定模块，用于：

接收畸变镜头采集到的样本图像和普通镜头采集到的样本图像；

获取所述畸变镜头采集到的样本图像中标定特征的有畸变坐标（x_d，y_d）和所述普通镜头采集到的样本图像中标定特征的无畸变坐标（x_u，y_u）；

将所述有畸变坐标（x_d，y_d）和无畸变坐标（x_u，y_u）代入公式：

经n次迭代后，获得畸变参 数（k1，k2），其中，（x_di，y_di）为第i次迭代后的有畸变坐标，r_i-1为第i-1次迭代后的样本图像 半径，初始值为

优选地，所述参数标定模块还用于：

分别对所述畸变镜头采集到的样本图像和普通镜头采集到的样本图像进行二阶图像灰度化处理，获得畸变样本灰度图和普通样本灰度图；

采用边缘检测算法，分别对所述畸变样本灰度图和普通样本灰度图进行边缘检测，获得畸变样本轮廓图和普通样本轮廓图；

采用霍夫变换算法，分别对所述畸变样本轮廓图和普通样本轮廓图中的标定特征进行检测，获得所述有畸变坐标（x_d，y_d）和无畸变坐标（x_u，y_u）。

优选地，所述校正模块还用于：

将所述原始畸变坐标（x_d’，y_d’）和畸变参数（k₁，k₂）代入公式：

经n’次迭代后，获得复 原坐标（x_u’，y_u’），其中，（x_di’，y_di’）为第i次迭代后的原始畸变坐标，r’_i-1为第i-1次迭代后 的原始畸变图像半径，初始值为

优选地，所述获取模块还用于，获取所述畸变镜头的方向角（α，β，γ）；

所述校正模块还用于，根据所述畸变镜头的方向角（α，β，γ）和所述复原坐标（x_u’，y_u’），对畸变矩阵做空间位置的变化，获得所述畸变镜头的方向角（α，β，γ）对应的复原坐标（x_u”，y_u”）。

优选地，所述校正模块还用于：

将所述复原坐标（x_u’，y_u’）代入公式：获得镜头坐标（x_c，y_c，z_c）， 其中，f为所述畸变镜头的等效焦距；

将所述畸变镜头的方向角（α，β，γ）和镜头坐标（x_c，y_c，z_c）代入公式：获得所述畸变镜头的方向角（α，β，γ）对 应的复原坐标（x_u”，y_u”），其中，为所述畸变镜头的光学特征参数矩阵，为平移矢量。

优选地，所述畸变图像校正复原与分析报警的装置还包括：

修补模块，用于采用插值算法，修补所述复原后图像中的空洞坐标点；

像素还原模块，用于根据所述原始畸变图像的原始畸变坐标与所述复原后图像的复原坐标之间的对应关系，将所述原始畸变坐标的像素值还原到所述复原坐标上。

优选地，所述畸变图像校正复原与分析报警的装置，还包括报警分析模块，用于：

对多帧复原后图像进行自适应背景学习，获得参考背景；

根据参考背景，采用图像分割算法，对后续的复原后图像进行分割处理，提取差异目标特征；

对所述差异目标特征做过滤处理，排除差异目标特征在过滤范围内的复原后图像；

采用在过滤范围外的差异目标特征对后续的复原后图像进行差异目标特征的运动匹配跟踪；

当持续存在差异目标特征的复原后图像的帧数超过预设帧数时，将所述复原后图像记录为发生突变的图像，并报警。

本发明采用预存储的畸变镜头的畸变参数来对畸变镜头采集到的图像进行校正复原处理，获得无失真的图像，使显示的画面接近真实场景，且复原后的图像具有大视角的特点，避免了普通视角拍摄存在的盲区和死角，有利于在安防监控环境中对突发事件的捕获，提高安防报警的准确性。

附图说明

图1为本发明畸变图像校正复原与分析报警的方法的第一实施例的流程图；

图2为本发明畸变图像校正复原与分析报警的方法的第二实施例的流程图；

图3为本发明畸变图像校正复原与分析报警的方法的第三实施例的流程图；

图4为本发明畸变图像校正复原与分析报警的方法的第四实施例的流程图；

图5为本发明畸变图像校正复原与分析报警的方法的第五实施例的流程图；

图6为本发明畸变图像校正复原与分析报警的方法的第六实施例的流程图；

图7为本发明畸变图像校正复原与分析报警的方法的第八实施例的流程图；

图8为本发明畸变图像校正复原与分析报警的装置的第一实施例的结构示意图；

图9为本发明畸变图像校正复原与分析报警的装置的第二实施例的结构示意图；

图10为本发明畸变图像校正复原与分析报警的装置的第二实施例的结构示意图；

图11为本发明畸变图像校正复原与分析报警的装置的第三实施例的结构示意图；

图12为本发明实施例中棋盘格样本图；

图13为本发明实施例中畸变镜头获取到的原始畸变图像；

图14为本发明实施例中带有空洞的复原后图像；

图15为本发明实施例中修补空洞后的复原后图像。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1为本发明畸变图像校正复原与分析报警的方法的第一实施例的流程图。本实施例提到的畸变图像校正复原与分析报警的方法，包括：

步骤S10，接收畸变镜头采集到的原始畸变图像；

本实施例在安防技术领域中，通过鱼眼镜头（即畸变镜头）的摄像头获取监控视频，首先将鱼眼镜头的摄像头与安装有畸变图像校正复原装置的设备连接。该安装有畸变图像校正复原装置的设备可为普通的电脑、手机等智能设备，或与鱼眼镜头适配的专用设备，或直接与监控中心连接，或由安装有畸变图像校正复原装置的设备与监控中心连接。鱼眼镜头的摄像头通过数据线将拍摄到的视频数据传输给电脑或专用设备，或通过无线传输方式传送给手机或监控中心，或由电脑、手机、专用设备等将分析后的数据传输给监控中心。

步骤S20，获取原始畸变图像中各坐标点的原始畸变坐标（x_d’，y_d’）；

在原始畸变图像中的各坐标点可以是位置坐标，也可以是各像素点坐标。获取坐标时，可将原始畸变图像转换为灰度图后，在进行校正处理。

步骤S30，获取预存储的畸变镜头的畸变参数（k₁，k₂）；

在镜头参数中预先存储有畸变镜头的畸变参数，k₁和k₂的绝对值越大，变形程度越高，当k₁和k₂均大于0时，表示图像的四个角落往中心扭曲。

步骤S40，确定原始畸变图像中各坐标点的复原坐标（x_u’，y_u’），获得复原后图像。

采用畸变参数对原始畸变图像进行复原，恢复出大视角的无畸变图像及相应的视频流。经过校正后的图像比普通镜头下获得的图像的视角大得多，可以解决普通监控存在的盲区和死角的问题。此外，安装有畸变图像校正复原装置的设备还可与报警系统连接，对复原后图像进行分析处理，判断复原后图像中是否存在异常的突变事件，如果发生了突发事件，并且该突发事件持续的记录帧数超过一定的次数，即连续多帧复原图像上都有突发事件发生，则对该突发事件进行捕获，即记录该复原后图像，并同步发送报警通知，实现自动报警。

本实施例采用预存储的畸变镜头的畸变参数来对畸变镜头采集到的图像进行校正复原处理，获得无失真的图像，使显示的画面接近真实场景，且复原后的图像具有大视角的特点，避免了普通视角拍摄存在的盲区和死角，有利于在安防监控环境中对突发事件的捕获，提高安防报警的准确性。

如图2所示，图2为本发明畸变图像校正复原与分析报警的方法的第二实施例的流程图。本实施例对图1所示实施例中的畸变镜头的畸变参数（k₁，k₂）的标定步骤进行说明，标定畸变参数（k₁，k₂）的步骤包括：

步骤S51，接收畸变镜头采集到的样本图像和普通镜头采集到的样本图像；

本实施例在标定畸变参数时，预先选定样本图像，并在样本图像中标记出标定特征，例如图12所示的棋盘格，在棋盘格的交叉角点处用相同半径的实心圆标记，并预先测定好所标定的实心圆的圆心坐标（x，y，z），以该实心圆的圆心作为样本的标定特征。分别用鱼眼镜头（即畸变镜头）和普通镜头拍摄该样本图像。鱼眼镜头和普通镜头将拍摄到的样本图像发送给畸变图像校正复原装置。

步骤S52，获取畸变镜头采集到的样本图像中标定特征的有畸变坐标（x_d，y_d）和普通镜头采集到的样本图像中标定特征的无畸变坐标（x_u，y_u）；

对畸变镜头和普通镜头采集到的样本图像中的标定特征进行识别处理，以图12所示的棋盘格为例，对棋盘格中实心圆进行识别，识别到实心圆的圆心，并确定该实心圆圆心的坐标值。根据样本圆心的实际空间位置坐标（x，y，z）、经畸变镜头采集到的有畸变坐标（x_d，y_d）和普通镜头采集到的无畸变坐标（x_u，y_u）之间的对应关系，构件样本特征对应关系表，如下表所示：

本实施例中假设只考虑透镜的径向失真，则失真后的标定特征点投影坐标即为（x_d，y_d）。

本实施例可采用以下方式来确定标定特征的坐标：首先，分别对畸变镜头采集到的样本图像和普通镜头采集到的样本图像进行二阶图像灰度化处理，获得畸变样本灰度图和普通样本灰度图；然后采用边缘检测算法，分别对畸变样本灰度图和普通样本灰度图进行边缘检测，获得畸变样本轮廓图和普通样本轮廓图；最后，采用霍夫变换算法，分别对畸变样本轮廓图和普通样本轮廓图中的标定特征进行检测，获得有畸变坐标（x_d，y_d）和无畸变坐标（x_u，y_u）。

步骤S53，将有畸变坐标（x_d，y_d）和无畸变坐标（x_u，y_u）代入公式：

经n次迭代后，获得畸变参 数（k₁，k₂）。

上述公式可称为鱼眼效应方程式，其中，（x_di，y_di）为第i次迭代后的有畸变坐标，经畸变镜头拍摄到的图像如图13所示，r_i-1为第i-1次迭代后的样本图像半径，初始值为迭代次数可预先设定，通常可迭代5～6次。在经过多次迭代后，即可求解出畸变参数（k₁，k₂），将获得的畸变参数存储在镜头参数中。

本实施例采用鱼眼效应方程式获得畸变镜头的畸变参数，并在对后续畸变图像进行校正时，通过畸变参数来复原畸变镜头采集到的图像，获得无失真的图像，使显示的画面接近真实场景，有利于在安防监控环境中对突发事件的捕获，提高安防报警的准确性。

如图3所示，图3为本发明畸变图像校正复原与分析报警的方法的第三实施例的流程图。本实施例以图1所示实施例为基础，步骤S40具体包括：

步骤S41，将原始畸变坐标（x_d’，y_d’）和畸变参数（k1，k2）代入公式：

经n’次迭代后，获得复 原坐标（x_u’，y_u’），获得复原后图像。

其中，（x_di’，y_di’）为第i次迭代后的原始畸变坐标，r’_i-1为第i-1次迭代后的原始畸变图像半径，初始值为

本实施例采用鱼眼效应方程式的逆推过程，对原始畸变图像中各坐标点进行校正，确定复原坐标，并根据复原坐标重建图像，获得复原后的图像，该复原图像无失真，显示的画面接近真实场景，有利于在安防监控环境中对突发事件的捕获，提高安防报警的准确性。

如图4所示，图4为本发明畸变图像校正复原与分析报警的方法的第四实施例的流程图。本实施例以图1所示实施例为基础，步骤S40具体还包括：

步骤S42，确定原始畸变图像中各坐标点的复原坐标（x_u’，y_u’）；

步骤S43，获取畸变镜头的方向角（α，β，γ）；

步骤S44，根据畸变镜头的方向角（α，β，γ）和复原坐标（x_u’，y_u’），对畸变矩阵做空间位置的变化，获得畸变镜头的方向角（α，β，γ）对应的复原坐标（x_u”，y_u”），获得复原后图像。

本实施例考虑到预先存储的畸变参数所针对的畸变镜头，在进行标定畸变参数时的方向角，与实际获取图像时的方向角不一致时，在复原图像后得到的坐标会与真实坐标存在一定的角度偏差，此时需对畸变矩阵做空间位置变化，以获得在当前方向角对应的复原坐标，使获得的复原后图像更加接近真实图像，进一步提高显示画面的真实性，以及在安防监控环境中对突发事件的捕获的准确性。

如图5所示，图5为本发明畸变图像校正复原与分析报警的方法的第五实施例的流程图。本实施例以图4所示实施例为基础，步骤S43具体包括：

步骤S431，将复原坐标（x_u’，y_u’）代入公式：获得镜头坐标（x_c， y_c，z_c）；

本实施例通过透视变换的逆推过程，得到坐标（x_c，y_c，z_c），该坐标为透视变换前的坐标值，其中，f为畸变镜头的等效焦距。

步骤S432，将畸变镜头的方向角（α，β，γ）和镜头坐标（x_c，y_c，z_c）代入公式：获得畸变镜头的方向角（α，β，γ）对应的 复原坐标（x_u”，y_u”），获得复原后图像。

根据空间成像系统的数学模型，将复原坐标（x_u”，y_u”，z_u”）经旋转和平移变换后， 映射为透射前坐标（x_c，y_c，z_c），因此，逆推过程即可获得畸变镜头的方向角（α，β，γ）对应的 复原坐标（x_u”，y_u”，z_u”），其中，为畸变镜头的光学特征参数矩阵，为 平移矢量。本实施例假设只考虑透镜的径向失真，因此z_u”可取0，最终得的复原坐标（x_u”， y_u”），根据该坐标重建图像，获得复原后的图像。

本实施例对畸变矩阵做空间位置变化，以获得在当前方向角对应的复原坐标，使获得的复原后图像更加接近真实图像，进一步提高显示画面的真实性，以及在安防监控环境中对突发事件的捕获的准确性。

如图6所示，图6为本发明畸变图像校正复原与分析报警的方法的第六实施例的流程图。本实施例以图1所示实施例为基础，步骤S40之后还包括：

步骤S60，采用插值算法，修补复原后图像中的空洞坐标点；

本实施例在通过畸变校正后，复原后图像中可能会存在一些黑色网格，可称之为空洞，如图14所示。要得到最终完整的图像，需对空洞进行修复，采用差值算法修补空洞，复原出无畸变的大视角图像，如图15所示。

步骤S70，根据原始畸变图像的原始畸变坐标与复原后图像的复原坐标之间的对应关系，将原始畸变坐标的像素值还原到复原坐标上。

此外，在拍摄图像时，获得的原本是彩色图像，为了提取原始畸变坐标，将其转换为灰度图，此时需对其进行色彩还原，将原始畸变坐标的像素值还原到复原坐标上，获得最终的彩色复原后图像，以便于安防监控环境中对突发事件的捕获，进一步提高报警的准确性。

如图7所示，图7为本发明畸变图像校正复原与分析报警的方法的第八实施例的流程图。本实施例增加了分析报警的具体步骤，该步骤可在图1所示实施例的步骤S40之后，对复原后图像进行分析，也可在图7所示实施例的步骤70之后，对修补空洞和还原色彩之后的图像进行分析，本实施例以在步骤S40之后为例，包括：

步骤S81，对多帧复原后图像进行自适应背景学习，获得参考背景；

本实施例对多帧复原后的图像及视频进行自适应的背景学习，提取出无突发事件发生的参考背景。自适应背景学习可以是在一个时间段内对前n帧图像进行参考背景提取，例如，在第一个一小时内的图像，即0-60分钟内的图像，对第0-5分钟的图像进行自适应学习，提取出参考背景，然后用参考背景与第6-60分钟图像进行比较，在第二个一小时时间段内，即60-120分钟内的图像，对第60-65分钟的图像进行自适应学习，提取出参考背景，然后用参考背景与第66-120分钟图像进行比较，以此类推。

步骤S82，根据参考背景，采用图像分割算法，对后续的复原后图像进行分割处理，提取差异目标特征；

在将参考背景与后续图像进行比较分析时，采用图像分割算法，分割出于参考背景相同或近似的背景图像，以及与参考背景差异较大的前景图像，从前景图像中提取出差异目标特征。例如，后续某一帧图像中比参考背景多出来一个人，将这个人的影像作为差异目标特征；又例如，参考背景中有一个箱子，后续某一帧图像中的没有箱子，则将原来摆放箱子的位置作为差异目标特征。

步骤S83，对差异目标特征做过滤处理，排除差异目标特征在过滤范围内的复原后图像；

考虑到光影或信号采集带来的视频噪声影响，预先设定一个过滤范围，将噪声造成的差异目标特征给过滤掉，排除因噪声造成差异的图像。

步骤S84，采用在过滤范围外的差异目标特征对后续的复原后图像进行差异目标特征的运动匹配跟踪；

对于在过滤范围外的差异目标特征，有可能是发生了突发事件，对其后续的图像进行匹配跟踪，判断后续图像中是否仍然继续存在该差异目标特征。例如，在第i帧图像的右侧出现了一个人的影像，在一段时间段内的各图像中，对该人的影像进行运动匹配跟踪，该人的影像逐渐向左移动。又例如，在第1帧至第i-1帧图像的中部有一个箱子，在第i帧图像中没有箱子，在之后的一段时间段内的各图像中一致都没有箱子，或在第i帧图像中箱子位置发生变化，在之后的一段时间段内的各图像中，该箱子持续移动。

步骤S85，当持续存在差异目标特征的复原后图像的帧数超过预设帧数时，将复原后图像记录为发生突变的图像，并报警。

为了排除某些偶发干扰的情况，例如，在监视范围中，一个人路过，则该人的影像在视频画面中持续的时间不会太长，在规定时长内很快就会移出画面，假设通常人路过时在视频画面中持续时长为2秒，则将2秒内的帧数作为预设帧数，如果人像只在预设帧数内出现，则认为是正常情况，无需报警，如果人像在预设帧数范围外持续出现，则说明这个人在监视区域内待的时间较长，可能存在异常，需要报警。又例如，在监视范围中，箱子突然不见了，过了0.5秒后，箱子又出现在图像中，则认为是因偶发干扰造成的，无需报警，如果箱子持续5秒以上都没有再出现，则认为是出现异常，需要发送报警通知，实现自动报警。

本实施例进行智能分析报警的对象是鱼眼镜头获取到的畸变图像经过校正复原后的图像，该图像与普通镜头获取到的图像相比，具有大视角的特点，避免了普通视角拍摄存在的盲区和死角问题，有利于在安防监控环境中对突发事件的捕获，提高安防报警的准确性。

如图8所示，图8为本发明畸变图像校正复原与分析报警的装置的第一实施例的结构示意图。本实施例提到的畸变图像校正复原与分析报警的装置，包括：

获取模块10，用于接收畸变镜头采集到的原始畸变图像，获取原始畸变图像中各坐标点的原始畸变坐标（x_d’，y_d’）；

校正模块20，用于获取预存储的畸变镜头的畸变参数（k₁，k₂），确定原始畸变图像中各坐标点的复原坐标（x_u’，y_u’），获得复原后图像。

本实施例在安防技术领域中，通过鱼眼镜头（即畸变镜头）的摄像头获取监控视频，首先将鱼眼镜头的摄像头与安装有畸变图像校正复原装置的设备连接。该安装有畸变图像校正复原装置的设备可为普通的电脑、手机等智能设备，或与鱼眼镜头适配的专用设备，或直接与监控中心连接，或由安装有畸变图像校正复原装置的设备与监控中心连接。鱼眼镜头的摄像头通过数据线将拍摄到的视频数据传输给电脑或专用设备，或通过无线传输方式传送给手机或监控中心，或由电脑、手机、专用设备等将分析后的数据传输给监控中心。在原始畸变图像中的各坐标点可以是位置坐标，也可以是各像素点坐标。获取坐标时，可将原始畸变图像转换为灰度图后，在进行校正处理。在镜头参数中预先存储有畸变镜头的畸变参数，k₁和k₂的绝对值越大，变形程度越高，当k₁和k₂均大于0时，表示图像的四个角落往中心扭曲。

采用畸变参数对原始畸变图像进行复原，恢复出大视角的无畸变图像及相应的视频流。经过校正后的图像比普通镜头下获得的图像的视角大得多，可以解决普通监控存在的盲区和死角的问题。此外，安装有畸变图像校正复原装置的设备还可与报警系统连接，对复原后图像进行分析处理，判断复原后图像中是否存在异常的突变事件，如果发生了突发事件，并且该突发事件持续的记录帧数超过一定的次数，即连续多帧复原图像上都有突发事件发生，则对该突发事件进行捕获，即记录该复原后图像，并同步发送报警通知，实现自动报警。

本实施例采用预存储的畸变镜头的畸变参数来对畸变镜头采集到的图像进行校正复原处理，获得无失真的图像，使显示的画面接近真实场景，且复原后的图像具有大视角的特点，避免了普通视角拍摄存在的盲区和死角，有利于在安防监控环境中对突发事件的捕获，提高安防报警的准确性。

如图9所示，图9为本发明畸变图像校正复原与分析报警的装置的第二实施例的结构示意图。本实施例在图8所示实施例的基础上，增加了参数标定模块30，用于：

接收畸变镜头采集到的样本图像和普通镜头采集到的样本图像；

获取畸变镜头采集到的样本图像中标定特征的有畸变坐标（x_d，y_d）和普通镜头采集到的样本图像中标定特征的无畸变坐标（x_u，y_u）；

将有畸变坐标（x_d，y_d）和无畸变坐标（x_u，y_u）代入公式：

经n次迭代后，获得畸变参 数（k₁，k₂），其中，（x_di，y_di）为第i次迭代后的有畸变坐标，r_i-1为第i-1次迭代后的样本图像 半径，初始值为

进一步的，参数标定模块30还用于：

分别对畸变镜头采集到的样本图像和普通镜头采集到的样本图像进行二阶图像灰度化处理，获得畸变样本灰度图和普通样本灰度图；

采用边缘检测算法，分别对畸变样本灰度图和普通样本灰度图进行边缘检测，获得畸变样本轮廓图和普通样本轮廓图；

采用霍夫变换算法，分别对畸变样本轮廓图和普通样本轮廓图中的标定特征进行检测，获得有畸变坐标（x_d，y_d）和无畸变坐标（x_u，y_u）。

本实施例在标定畸变参数时，预先选定样本图像，并在样本图像中标记出标定特征，例如图12所示的棋盘格，在棋盘格的交叉角点处用相同半径的实心圆标记，并预先测定好所标定的实心圆的圆心坐标（x，y，z），以该实心圆的圆心作为样本的标定特征。分别用鱼眼镜头（即畸变镜头）和普通镜头拍摄该样本图像。鱼眼镜头和普通镜头将拍摄到的样本图像发送给畸变图像校正复原装置。

对畸变镜头和普通镜头采集到的样本图像中的标定特征进行识别处理，以图12所示的棋盘格为例，对棋盘格中实心圆进行识别，识别到实心圆的圆心，并确定该实心圆圆心的坐标值。根据样本圆心的实际空间位置坐标（x，y，z）、经畸变镜头采集到的有畸变坐标（x_d，y_d）和普通镜头采集到的无畸变坐标（x_u，y_u）之间的对应关系，构件样本特征对应关系表，如下表所示：

本实施例中假设只考虑透镜的径向失真，则失真后的标定特征点投影坐标即为（x_d，y_d）。

本实施例采用鱼眼效应方程式求取畸变参数（k₁，k₂），经畸变镜头拍摄到的图像如图13所示，迭代次数可预先设定，通常可迭代5～6次。在经过多次迭代后，即可求解出畸变参数（k₁，k₂），将获得的畸变参数存储在镜头参数中。

本实施例采用鱼眼效应方程式获得畸变镜头的畸变参数，并在对后续畸变图像进行校正时，通过畸变参数来复原畸变镜头采集到的图像，获得无失真的图像，使显示的画面接近真实场景，有利于在安防监控环境中对突发事件的捕获，提高安防报警的准确性。

进一步的，校正模块20还用于：

将原始畸变坐标（x_d’，y_d’）和畸变参数（k1，k2）代入公式：

经n’次迭代后，获得复 原坐标（x_u’，y_u’），其中，（x_di’，y_di’）为第i次迭代后的原始畸变坐标，r’_i-1为第i-1次迭代后 的原始畸变图像半径，初始值为

本实施例采用鱼眼效应方程式的逆推过程，对原始畸变图像中各坐标点进行校正，确定复原坐标，并根据复原坐标重建图像，获得复原后的图像，该复原图像无失真，显示的画面接近真实场景，有利于在安防监控环境中对突发事件的捕获，提高安防报警的准确性。

进一步的，获取模块10还用于，获取畸变镜头的方向角（α，β，γ）；

校正模块20还用于，根据畸变镜头的方向角（α，β，γ）和复原坐标（x_u’，y_u’），对畸变矩阵做空间位置的变化，获得畸变镜头的方向角（α，β，γ）对应的复原坐标（x_u”，y_u”）。

本实施例考虑到预先存储的畸变参数所针对的畸变镜头，在进行标定畸变参数时的方向角，与实际获取图像时的方向角不一致时，在复原图像后得到的坐标会与真实坐标存在一定的角度偏差，此时需对畸变矩阵做空间位置变化，以获得在当前方向角对应的复原坐标，使获得的复原后图像更加接近真实图像，进一步提高显示画面的真实性，以及在安防监控环境中对突发事件的捕获的准确性。

进一步的，校正模块20还用于：

将复原坐标（x_u’，y_u’）代入公式：获得镜头坐标（x_c，y_c，z_c），其中， f为畸变镜头的等效焦距；

将畸变镜头的方向角（α，β，γ）和镜头坐标（x_c，y_c，z_c）代入公式：获得畸变镜头的方向角（α，β，γ）对应的 复原坐标（x_u”，y_u”），其中，为畸变镜头的光学特征参数矩阵，为平移 矢量。

本实施例通过透视变换的逆推过程，得到坐标（x_c，y_c，z_c），该坐标为透视变换前的坐标值。根据空间成像系统的数学模型，将复原坐标（x_u”，y_u”，z_u”）经旋转和平移变换后，映射为透射前坐标（x_c，y_c，z_c），因此，逆推过程即可获得畸变镜头的方向角（α，β，γ）对应的复原坐标（x_u”，y_u”，z_u”）。本实施例假设只考虑透镜的径向失真，因此z_u”可取0，最终得的复原坐标（x_u”，y_u”），根据该坐标重建图像，获得复原后的图像。

本实施例对畸变矩阵做空间位置变化，以获得在当前方向角对应的复原坐标，使获得的复原后图像更加接近真实图像，进一步提高显示画面的真实性，以及在安防监控环境中对突发事件的捕获的准确性。

如图10所示，图10为本发明畸变图像校正复原与分析报警的装置的第二实施例的结构示意图。本实施例在图8所示实施例的基础上，增加了以下模块：

修补模块40，用于采用插值算法，修补复原后图像中的空洞坐标点；

像素还原模块50，用于根据原始畸变图像的原始畸变坐标与复原后图像的复原坐标之间的对应关系，将原始畸变坐标的像素值还原到复原坐标上。

本实施例在通过畸变校正后，复原后图像中可能会存在一些黑色网格，可称之为空洞，如图14所示。要得到最终完整的图像，需对空洞进行修复，采用差值算法修补空洞，复原出无畸变的大视角图像，如图15所示。

此外，在拍摄图像时，获得的原本是彩色图像，为了提取原始畸变坐标，将其转换为灰度图，此时需对其进行色彩还原，将原始畸变坐标的像素值还原到复原坐标上，获得最终的彩色复原后图像，以便于安防监控环境中对突发事件的捕获，进一步提高报警的准确性。

如图11所示，图11为本发明畸变图像校正复原与分析报警的装置的第三实施例的结构示意图。本实施例在图8所示实施例的基础上，增加了报警分析模块60，用于：

对多帧复原后图像进行自适应背景学习，获得参考背景；

根据参考背景，采用图像分割算法，对后续的复原后图像进行分割处理，提取差异目标特征；

对差异目标特征做过滤处理，排除差异目标特征在过滤范围内的复原后图像；

采用在过滤范围外的差异目标特征对后续的复原后图像进行差异目标特征的运动匹配跟踪；

当持续存在差异目标特征的复原后图像的帧数超过预设帧数时，将复原后图像记录为发生突变的图像，并报警。

本实施例对多帧复原后的图像及视频进行自适应的背景学习，提取出无突发事件发生的参考背景。自适应背景学习可以是在一个时间段内对前n帧图像进行参考背景提取，例如，在第一个一小时内的图像，即0-60分钟内的图像，对第0-5分钟的图像进行自适应学习，提取出参考背景，然后用参考背景与第6-60分钟图像进行比较，在第二个一小时时间段内，即60-120分钟内的图像，对第60-65分钟的图像进行自适应学习，提取出参考背景，然后用参考背景与第66-120分钟图像进行比较，以此类推。

在将参考背景与后续图像进行比较分析时，采用图像分割算法，分割出于参考背景相同或近似的背景图像，以及与参考背景差异较大的前景图像，从前景图像中提取出差异目标特征。例如，后续某一帧图像中比参考背景多出来一个人，将这个人的影像作为差异目标特征；又例如，参考背景中有一个箱子，后续某一帧图像中的没有箱子，则将原来摆放箱子的位置作为差异目标特征。

考虑到光影或信号采集带来的视频噪声影响，预先设定一个过滤范围，将噪声造成的差异目标特征给过滤掉，排除因噪声造成差异的图像。对于在过滤范围外的差异目标特征，有可能是发生了突发事件，对其后续的图像进行匹配跟踪，判断后续图像中是否仍然继续存在该差异目标特征。例如，在第i帧图像的右侧出现了一个人的影像，在一段时间段内的各图像中，对该人的影像进行运动匹配跟踪，该人的影像逐渐向左移动。又例如，在第1帧至第i-1帧图像的中部有一个箱子，在第i帧图像中没有箱子，在之后的一段时间段内的各图像中一致都没有箱子，或在第i帧图像中箱子位置发生变化，在之后的一段时间段内的各图像中，该箱子持续移动。

为了排除某些偶发干扰的情况，例如，在监视范围中，一个人路过，则该人的影像在视频画面中持续的时间不会太长，在规定时长内很快就会移出画面，假设通常人路过时在视频画面中持续时长为2秒，则将2秒内的帧数作为预设帧数，如果人像只在预设帧数内出现，则认为是正常情况，无需报警，如果人像在预设帧数范围外持续出现，则说明这个人在监视区域内待的时间较长，可能存在异常，需要报警。又例如，在监视范围中，箱子突然不见了，过了0.5秒后，箱子又出现在图像中，则认为是因偶发干扰造成的，无需报警，如果箱子持续5秒以上都没有再出现，则认为是出现异常，需要发送报警通知，实现自动报警。

本实施例进行智能分析报警的对象是鱼眼镜头获取到的畸变图像经过校正复原后的图像，该图像与普通镜头获取到的图像相比，具有大视角的特点，避免了普通视角拍摄存在的盲区和死角问题，有利于在安防监控环境中对突发事件的捕获，提高安防报警的准确性。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (14)

1.一种畸变图像校正复原与分析报警的方法，其特征在于，包括步骤：

接收畸变镜头采集到的原始畸变图像，获取所述原始畸变图像中各坐标点的原始畸变坐标(x_d’，y_d’)；

获取预存储的所述畸变镜头的畸变参数(k₁，k₂)，确定所述原始畸变图像中各坐标点的复原坐标(x_u’，y_u’)，获得复原后图像；

对多帧复原后图像进行自适应背景学习，获得参考背景；

根据参考背景，采用图像分割算法，对后续的复原后图像进行分割处理，提取差异目标特征；

对所述差异目标特征做过滤处理，排除差异目标特征在过滤范围内的复原后图像；

采用在过滤范围外的差异目标特征对后续的复原后图像进行差异目标特征的运动匹配跟踪；

当持续存在差异目标特征的复原后图像的帧数超过预设帧数时，将所述复原后图像记录为发生突变的图像，并报警。

2.根据权利要求1所述的畸变图像校正复原与分析报警的方法，其特征在于，所述畸变镜头的畸变参数(k₁，k₂)的标定步骤包括：

接收畸变镜头采集到的样本图像和普通镜头采集到的样本图像；

获取所述畸变镜头采集到的样本图像中标定特征的有畸变坐标(x_d，y_d)和所述普通镜头采集到的样本图像中标定特征的无畸变坐标(x_u，y_u)；

将所述有畸变坐标(x_d，y_d)和无畸变坐标(x_u，y_u)代入公式：

经n次迭代后，获得畸变参数(k₁，k₂)，其中，(x_di，y_di)为第i次迭代后的有畸变坐标，r_i-1为第i-1次迭代后的样本图像半径，初始值为

3.根据权利要求2所述的畸变图像校正复原与分析报警的方法，其特征在于，所述获取畸变镜头采集到的样本图像中标定特征的有畸变坐标(x_d，y_d)和所述普通镜头采集到的样本图像中标定特征的无畸变坐标(x_u，y_u)的步骤包括：

分别对所述畸变镜头采集到的样本图像和普通镜头采集到的样本图像进行二阶图像灰度化处理，获得畸变样本灰度图和普通样本灰度图；

采用边缘检测算法，分别对所述畸变样本灰度图和普通样本灰度图进行边缘检测，获得畸变样本轮廓图和普通样本轮廓图；

采用霍夫变换算法，分别对所述畸变样本轮廓图和普通样本轮廓图中的标定特征进行检测，获得所述有畸变坐标(x_d，y_d)和无畸变坐标(x_u，y_u)。

4.根据权利要求1所述的畸变图像校正复原与分析报警的方法，其特征在于，所述确定原始畸变图像中各坐标点的复原坐标(x_u’，y_u’)的步骤具体包括：

将所述原始畸变坐标(x_d’，y_d’)和畸变参数(k₁，k₂)代入公式：

经n’次迭代后，获得复原坐标(x_u’，y_u’)，其中，(x_di’，y_di’)为第i次迭代后的原始畸变坐标，r’_i-1为第i-1次迭代后的原始畸变图像半径，初始值为

5.根据权利要求1所述的畸变图像校正复原与分析报警的方法，其特征在于，所述确定原始畸变图像中各坐标点的复原坐标(x_u’，y_u’)的步骤之后还包括：

获取所述畸变镜头的方向角(α，β，γ)；

根据所述畸变镜头的方向角(α，β，γ)和所述复原坐标(x_u’，y_u’)，对畸变矩阵做空间位置的变化，获得所述畸变镜头的方向角(α，β，γ)对应的复原坐标(x_u”，y_u”)。

6.根据权利要求5所述的畸变图像校正复原与分析报警的方法，其特征在于，所述根据畸变镜头的方向角(α，β，γ)和所述复原坐标(x_u’，y_u’)，对畸变矩阵做空间位置的变化，获得所述畸变镜头的方向角(α，β，γ)对应的复原坐标(x_u”，y_u”)的步骤具体包括：

将所述复原坐标(x_u’，y_u’)代入公式：获得镜头坐标(x_c，y_c，z_c)，其中，f为所述畸变镜头的等效焦距；

将所述畸变镜头的方向角(α，β，γ)和镜头坐标(x_c，y_c，z_c)代入公式：获得所述畸变镜头的方向角(α，β，γ)对应的复原坐标(x_u”，y_u”)，其中，为所述畸变镜头的光学特征参数矩阵，为平移矢量。

7.根据权利要求1所述的畸变图像校正复原与分析报警的方法，其特征在于，所述获取预存储的所述畸变镜头的畸变参数(k₁，k₂)，确定所述原始畸变图像中各坐标点的复原坐标(x_u’，y_u’)，获得复原后图像的步骤之后还包括：

采用插值算法，修补所述复原后图像中的空洞坐标点；

根据所述原始畸变图像的原始畸变坐标与所述复原后图像的复原坐标之间的对应关系，将所述原始畸变坐标的像素值还原到所述复原坐标上。

8.一种畸变图像校正复原与分析报警的装置，其特征在于，包括：

获取模块，用于接收畸变镜头采集到的原始畸变图像，获取所述原始畸变图像中各坐标点的原始畸变坐标(x_d’，y_d’)；

校正模块，用于获取预存储的所述畸变镜头的畸变参数(k₁，k₂)，确定所述原始畸变图像中各坐标点的复原坐标(x_u’，y_u’)，获得复原后图像；及

报警分析模块，用于：

对多帧复原后图像进行自适应背景学习，获得参考背景；

根据参考背景，采用图像分割算法，对后续的复原后图像进行分割处理，提取差异目标特征；

对所述差异目标特征做过滤处理，排除差异目标特征在过滤范围内的复原后图像；

采用在过滤范围外的差异目标特征对后续的复原后图像进行差异目标特征的运动匹配跟踪；

当持续存在差异目标特征的复原后图像的帧数超过预设帧数时，将所述复原后图像记录为发生突变的图像，并报警。

9.根据权利要求8所述的畸变图像校正复原与分析报警的装置，其特征在于，还包括参数标定模块，用于：

接收畸变镜头采集到的样本图像和普通镜头采集到的样本图像；

获取所述畸变镜头采集到的样本图像中标定特征的有畸变坐标(x_d，y_d)和所述普通镜头采集到的样本图像中标定特征的无畸变坐标(x_u，y_u)；

将所述有畸变坐标(x_d，y_d)和无畸变坐标(x_u，y_u)代入公式：

经n次迭代后，获得畸变参数(k₁，k₂)，其中，(x_di，y_di)为第i次迭代后的有畸变坐标，r_i-1为第i-1次迭代后的样本图像半径，初始值为

10.根据权利要求9所述的畸变图像校正复原与分析报警的装置，其特征在于，所述参数标定模块还用于：

分别对所述畸变镜头采集到的样本图像和普通镜头采集到的样本图像进行二阶图像灰度化处理，获得畸变样本灰度图和普通样本灰度图；

采用边缘检测算法，分别对所述畸变样本灰度图和普通样本灰度图进行边缘检测，获得畸变样本轮廓图和普通样本轮廓图；

采用霍夫变换算法，分别对所述畸变样本轮廓图和普通样本轮廓图中的标定特征进行检测，获得所述有畸变坐标(x_d，y_d)和无畸变坐标(x_u，y_u)。

11.根据权利要求8所述的畸变图像校正复原与分析报警的装置，其特征在于，所述校正模块还用于：

将所述原始畸变坐标(x_d’，y_d’)和畸变参数(k₁，k₂)代入公式：

经n’次迭代后，获得复原坐标(x_u’，y_u’)，其中，(x_di’，y_di’)为第i次迭代后的原始畸变坐标，r’_i-1为第i-1次迭代后的原始畸变图像半径，初始值为

12.根据权利要求8所述的畸变图像校正复原与分析报警的装置，其特征在于，

所述获取模块还用于，获取所述畸变镜头的方向角(α，β，γ)；

所述校正模块还用于，根据所述畸变镜头的方向角(α，β，γ)和所述复原坐标(x_u’，y_u’)，对畸变矩阵做空间位置的变化，获得所述畸变镜头的方向角(α，β，γ)对应的复原坐标(x_u”，y_u”)。

13.根据权利要求12所述的畸变图像校正复原与分析报警的装置，其特征在于，所述校正模块还用于：

将所述复原坐标(x_u’，y_u’)代入公式：获得镜头坐标(x_c，y_c，z_c)，其中，f为所述畸变镜头的等效焦距；

将所述畸变镜头的方向角(α，β，γ)和镜头坐标(x_c，y_c，z_c)代入公式：获得所述畸变镜头的方向角(α，β，γ)对应的复原坐标(x_u”，y_u”)，其中，为所述畸变镜头的光学特征参数矩阵，为平移矢量。

14.根据权利要求8所述的畸变图像校正复原与分析报警的装置，其特征在于，还包括：

修补模块，用于采用插值算法，修补所述复原后图像中的空洞坐标点；

像素还原模块，用于根据所述原始畸变图像的原始畸变坐标与所述复原后图像的复原坐标之间的对应关系，将所述原始畸变坐标的像素值还原到所述复原坐标上。