CN104182752A - 一种户外广告牌智能监测方法 - Google Patents

Abstract

本发明公开了一种户外广告牌智能监测方法，采用了联合归一化互相关图像匹配NCC步骤和SIFT图像匹配步骤；归一化互相关图像匹配NCC步骤是灰度匹配方法的一种，具有较高的稳定性和准确性；SIFT图像匹配步骤是特征匹配方法的一种。本发明对广告牌上张贴的海报异常情况判断准确度非常高，并且能克服因环境光照、天气状况等影响带来的图像亮度不一致、图像部分模糊等对系统的影响。

Description

一种户外广告牌智能监测方法

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及一种户外广告牌智能监测的方法和系统。

背景技术

近年来，户外广告牌已经被广泛使用，并且形成一个很大的户外广告行业，户外广告牌上面的海报容易受到风的撕扯而产生破损，能否及时发现户外广告牌上面张贴海报是否破损是非常有意义的事情。当前检查广告牌上面海报是否破损是使用人工检查的方法，费时费力，尤其是高速公路等特殊位置的户外广告牌，多面均有海报，对它的检查可能需要跑好几条高速才能看到。

现有技术中，专利ZL200520071408.4和ZL200820030490.X通过安装在广告牌上监控设备，通过移动通信网进行监控与信息传输，为广大媒体主、广告主、代理商提供广告画面发布状况监控、广告照明灯亮灯情况监控、防盗报警监控、断电报警监控、随时调节亮灯时间、为客户提供第三方监控报告、客户通过互联网查阅监控信息等多项服务。现有技术主要使用人工检查广告牌是否出现破损，进行监控信息报告，只是把户外广告牌信息通过无线信号传回客户机，然后通过人工检查广告牌安放海报是否破损，不能提供智能的、自动化的计算机监测手段。

发明内容

针对现有技术中存在的问题，本发明提供了一种户外广告牌智能监测方法，能有效解决户外广告牌是否破损的智能全自动监测方法。

本发明的技术解决方案是：一种户外广告牌智能监测方法，采用了联合归一化互相关图像匹配NCC步骤和SIFT图像匹配步骤；所述归一化互相关图像匹配NCC步骤是基于灰度匹配方法，基于灰度的匹配就是按照某种相似性度量方法，把扫描图像的灰度矩阵与模板图像的灰度矩阵，以像素为单位进行搜索、比较和匹配，优点是匹配速度较快且易于硬件的设计实现，归一化互相关图像匹配NCC步骤具有较高的稳定性和准确性。

所述归一化互相关图像匹配NCC步骤函数公式为：

$\mathrm{NCC}(x,y)=\frac{P(x,y)}{Q_1(x,y)Q_2(x,y)}=\frac{\underset{v=0}{\overset{\mathrm{vlen}}{\mathrm{\Σ}}}\underset{u=0}{\overset{\mathrm{ulen}}{\mathrm{\Σ}}}T(u,v)S(x+u,y+v)}{\sqrt{\underset{v=0}{\overset{\mathrm{vlen}}{\mathrm{\Σ}}}\underset{u=0}{\overset{\mathrm{ulen}}{\mathrm{\Σ}}}{T}^2(u,v)}\sqrt{\underset{v=0}{\overset{\mathrm{vlen}}{\mathrm{\Σ}}}\underset{u=0}{\overset{\mathrm{ulen}}{\mathrm{\Σ}}}{S}^2(x+u,y+v)}},$

其中,Q₁(x,y)表示模板图像的能量；Q₂(x,y)表示位于参考图像(x,y)处的子图像的能量；P(x,y)表示模板图像与该子图像之间的互相关值,且0≤N(x,y)≤1。

所述归一化互相关图像匹配NCC步骤可描述为：

$(x_{\mathrm{opt}},y_{\mathrm{opt}})=\underset{0\≤x\≤\mathrm{xlen},x\≤y\≤\mathrm{ylen}}{\arg \min }\left\{\mathrm{NCC}(x,y)\right\}.$ 所述(x_opt,y_opt)表示最佳匹配点，即在整个搜索区域内,遍历寻找使NCC值最大的位置,该点即为最佳匹配点。

所述SIFT图像匹配步骤是基于特征匹配方法，特征匹配方法是指通过分别提取两个或多个图像点、线、面等特征，对特征进行参数描述，然后运用所描述的参数来进行匹配的一种方法。

SIFT图像匹配步骤包括SIFT特征的提取和SIFT特征向量的匹配；所述SIFT特征的提取是从多幅待匹配图像中提取对旋转、亮度变化、尺度缩放无关的特征向量，步骤为：步骤一：对原始图像进行高斯模糊，得到一新图像；步骤二：检测新图像中的极值点，初步定位出特征点；步骤三：将不稳定的边缘点和低分辨率的点剔除后，得到新的特征点图；步骤四：对新特征点图中的每一个特征点进行方向赋值，画出梯度直方图，得到方向矢量。

所述SIFT特征向量的匹配是通过在图像的尺度空间内，定位出极值点作为候选匹配的关键点，并且提取它们的方向参数，从而最后获得匹配所需的关键点描述符。

SIFT图像匹配步骤在应对图像的视角变换、尺度缩放变换、仿射变换、亮度变换以及旋转变换时具有较好的稳定性，能够保证提取数量足够的特征点。

本发明与现有技术相比具有明显的优点：本发明在广告牌海报破损或者异常时，计算机能够主动发现其异常，并给出报警；本发明能克服因环境光照、天气状况等影响带来的图像亮度不一致、图像部分模糊等对系统的影响。

附图说明

图1为本发明模板匹配示意图；

图2为本发明NCC匹配方法中正常广告图；

图3为本发明NCC匹配方法中破损广告图；

图4为本发明NCC匹配方法中相似性度量图；

图5为本发明SIFT特征提取中原始图像；

图6为本发明SIFT特征提取中高斯模糊图像；

图7为本发明SIFT特征提取中特征点图一；

图8为本发明SIFT特征提取中特征点图二；

图9为本发明SIFT特征提取中某一点的梯度直方图；

图10为本发明SIFT特征提取中某一点的各个方向上的描述图；

图11为本发明SIFT特征提取中多个点的梯度直方分布图；

图12为本发明SIFT特征点的提取图；

图13为本发明同一场景下不同亮度条件所拍摄的照片实体图；

图14为本发明亮度变化下的SIFT特征匹配图。

具体实施方式

以下结合附图和具体实施例，对本发明的技术方案作进一步详细说明。

如图1所示，图1为本发明模板匹配示意图；图中，S(x,y)表示参考图象中坐标为(x,y)的像素点的灰度值，T(u,v)表示模板图像T中坐标位置为(u,v)的像素点的灰度值，且模板大小为ulen×vlen，模板在参考图像中搜索区域的大小为xlen×ylen。

在本实施例的NCC匹配方法中，如图2、3、4所示，图2为本发明NCC匹配方法中正常广告图；图3为本发明NCC匹配方法中破损广告图；图4为本发明NCC匹配方法中相似性度量图；两幅图片最大相似度为0.51，从图中可以清楚看出NCC匹配方法图像匹配效果。

在本实施例的SIFT特征提取中，其过程如图5至图12所示。图5为本发明SIFT特征提取中原始图像，对该图像进行高斯模糊，得到图6；然后检测图中的极值点，初步定位出特征点，得到图7；在将不稳定的边缘点和低分辨率的点剔除后，得到新的特征点图，即图8；接着对图中的每一个特征点进行方向赋值，画出梯度直方图，得到方向矢量；图9为本发明SIFT特征提取中某一点的梯度直方图；图10为本发明SIFT特征提取中某一点的各个方向上的描述图；图11为本发明SIFT特征提取中多个点的梯度直方分布图；在此基础之上最终得到SIFT特征点的提取，得到图12。

在本实施例的SIFT特征向量的匹配中，如图13、14所示，图13为本发明同一场景下不同时间、不同亮度条件所拍摄的照片实体图(并且受到雨滴的干扰)，然后对两幅图片进行SIFT特征匹配，得到图14，即本发明亮度变化下的SIFT特征匹配图。从图中我们不难发现，SIFT图像匹配步骤对于亮度变换有着非常好的稳定性，图中大部分特征点都能进行正确匹配，在本发明中我们使用通过成功匹配点的比例，作为两幅图片的相似性度量。

虽然本发明已以较佳实施例公开如上，但它们并不是用来限定本发明，任何熟习此技艺者，在不脱离本发明之精神和范围内，自当可作各种变化或润饰，但同样在本发明的保护范围之内。

Claims (10)

1.一种户外广告牌智能监测方法，其特征在于：包括联合归一化互相关图像匹配NCC步骤和SIFT图像匹配步骤。

2.根据权利要求1所述的户外广告牌智能监测方法，其特征在于：所述归一化互相关图像匹配NCC步骤是基于灰度匹配方法，按照某种相似性度量方法，把扫描图像的灰度矩阵与模板图像的灰度矩阵，以像素为单位进行搜索、比较和匹配。

3.根据权利要求2所述的户外广告牌智能监测方法，其特征在于：所述灰度匹配方法是根据目标图像与模板图像对应像素的灰度值来衡量它们的相似性。

4.根据权利要求1所述的户外广告牌智能监测方法，其特征在于：所述归一化互相关图像匹配NCC步骤中函数公式为：

$\mathrm{NCC}(x,y)=\frac{P(x,y)}{Q_1(x,y)Q_2(x,y)}=\frac{\underset{v=0}{\overset{\mathrm{vlen}}{\mathrm{\Σ}}}\underset{u=0}{\overset{\mathrm{ulen}}{\mathrm{\Σ}}}T(u,v)S(x+u,y+v)}{\sqrt{\underset{v=0}{\overset{\mathrm{vlen}}{\mathrm{\Σ}}}\underset{u=0}{\overset{\mathrm{ulen}}{\mathrm{\Σ}}}{T}^2(u,v)}\sqrt{\underset{v=0}{\overset{\mathrm{vlen}}{\mathrm{\Σ}}}\underset{u=0}{\overset{\mathrm{ulen}}{\mathrm{\Σ}}}{S}^2(x+u,y+v)}},$

所述归一化互相关图像匹配NCC步骤可描述为：

$(x_{\mathrm{opt}},y_{\mathrm{opt}})=\underset{0\≤x\≤\mathrm{xlen},x\≤y\≤\mathrm{ylen}}{\arg \min }\left\{\mathrm{NCC}(x,y)\right\}.$

5.根据权利要求4所述的户外广告牌智能监测方法，其特征在于：所述Q₁(x,y)表示模板图像的能量；所述Q₂(x,y)表示位于参考图像(x,y)处的子图像的能量；所述P(x,y)表示模板图像与该子图像之间的互相关值,且0≤N(x,y)≤1；所述(x_opt,y_opt)表示最佳匹配点，即在整个搜索区域内,遍历寻找使NCC值最大的位置,该点即为最佳匹配点。

6.根据权利要求1所述的户外广告牌智能监测方法，其特征在于：所述SIFT图像匹配步骤是基于特征匹配方法，包括SIFT特征的提取和SIFT特征向量的匹配。

7.根据权利要求6所述的户外广告牌智能监测方法，其特征在于：所述特征匹配方法是指通过分别提取两个或多个图像点、线、面特征，对特征进行参数描述，然后运用所描述的参数来进行匹配的一种方法。

8.根据权利要求6所述的户外广告牌智能监测方法，其特征在于：所述SIFT特征的提取是从多幅待匹配图像中提取对旋转、亮度变化、尺度缩放无关的特征向量，具体步骤为：

步骤一：对原始图像进行高斯模糊，得到一新图像；

步骤二：检测新图像中的极值点，初步定位出特征点；

步骤三：将不稳定的边缘点和低分辨率的点剔除后，得到新的特征点图；

步骤四：对新特征点图中的每一个特征点进行方向赋值，画出梯度直方图，得到方向矢量。

9.根据权利要求6所述的户外广告牌智能监测方法，其特征在于：所述SIFT特征向量的匹配是通过在图像的尺度空间内，定位出极值点作为候选匹配的关键点，并且提取它们的方向参数，从而最后获得匹配所需的关键点描述符。

10.根据权利要求1所述的户外广告牌智能监测方法，其特征在于：联合两种图像匹配方法使用SIFT图像匹配作为主要判断依据，并且使用历史数据作为SIFT算法判断图像异常阈值的评价标准，而NCC方法通过前期经验一般用60％的阈值，作为辅助判断异常标准。