CN107705254A - 一种基于街景图的城市环境评估方法 - Google Patents

Abstract

本发明提供一种基于街景图的城市环境评估方法：首先通过道路检索获取街景图，进行配准以实现街景拼接；对比暗通道与均值灰度图来判断图像是否有雾的方法，并对有雾图像进行基于暗原色先验算法的去雾，同时利用导向滤波对去雾效果进行了优化；通过设定不同颜色空间中的颜色通道阈值，提出了针对蓝天检测与绿化检测的2BGR与2GBR图像分割方法，通过分析连通区域对检测结果进行二次筛选；最后，针对对比度、绿化率与蓝天率给出了各自的评估函数，提出了融合对比度、绿化率与蓝天率的评估方案。通过在多个城市上进行的实验验证了所提出方案的有效性，该方案具有灵活、速度快与成本低等优点，能够达到客观评估城市环境的目的。

Description

一种基于街景图的城市环境评估方法

技术领域

本发明涉及计算机视觉领域，并将其应用至创建智慧生态城市上，特别是一种基于街景图的城市环境评估方法。

背景技术

随着城市化进程不断推进，城市环境问题日益凸显，建设智慧生态城市愈发得到人们的重视。而伴着计算机行业的发展，智慧城市的内涵日益丰富，计算机视觉作为其中一个不可或缺的技术领域，也慢慢在医疗、安防、交通等方向发挥着重要作用。并且随着建设智慧生态城市的要求提出，计算机视觉于生态环保领域的应用也应成为研究重点之一。

近年来，图像拼接技术越发成熟并广泛应用在各个领域，其主要包括图像配准和图像融合。图像配准方面，David G.lowe提出的SIFT算子在图像拼接中应用广泛。Zhang YH等提出了一种改进的GA-SIFT算法，相较于传统的SIFT算法，其能够查找到更多的特征点，同时利用改进的自适应阈值法降低了算法的计算量，算法的图像拼接结果具有较强的鲁棒性且拥有较高的效率。文献针对SIFT计算量大，效率较低的问题，提出一种改进的尺度不变特征SURF(Speeded Up Robust Features)。且以此为基础，Saxena S等提出了一种结合LBS算法的SURF-LBS-RANSAC算法，降低了30％的特征提取时间，且相较于传统的SURF算法，其匹配点对拥有更小的欧氏距离。虽然在地图应用的接口调用和图像拼接方面都有了很成熟的研究和应用，但是将两者结合，通过地图应用获取图片再采取图像拼接的方式，国内外还未见到相关的研究。同样地，对于基于图像的环境评估，国内外也鲜有研究先例。去雾方面，He等首次提出了暗通道先验去雾方法并取得了良好的去雾效果，该方法是基于对大量无雾图像的统计规律。它通过实验得出几乎所有无雾图像的任一个小区域都拥有一些某一个颜色通道值很低的像素点。该算法能够进行雾的浓度的估算来还原无雾图像并具有良好效果。但其使用的软抠图算法会占用大量内存故无法实现图像的实时处理。为了实现快速去雾，He使用了引导滤波方法代替原来的软抠图算法优化结果图。陈丹丹等在上述方法的基础上提出一种基于暗原色先验和引导滤波修正大气耗散函数的单幅图像去雾算法，改善了暗原色先验原理对图像中明亮区域造成的彩色失真问题。Cai B等则提出了一种可训练的端到端系统DehazeNet，其采用了卷积神经网络的深层架构，主要用于透射率的估计，此外还提出了一种新的非线性激活函数BReLU以提高无雾图像的恢复质量。此外，对于绿化识别的研究还相对较少。2015年陆溪提出提取图像中草坪与图像背景分界线的方法,通过阈值分割与灰度化的方式来获取草坪区域的纹理特征，并提取其直方图，利用直方图来去除与草坪纹理相近的背景，并通过直线检测得到最佳的分界线。

发明内容

鉴于地图应用在生活中越来越广泛，且其中的全景地图也成为人们关注的热点，本发明在街景提取的基础上，提出一种基于街景图的城市环境评估方法。

本发明采用以下技术方案：一种基于街景图的城市环境评估与分析方法，其包括以下步骤：步骤S1：通过城市名与道路名进行道路检索，获取道路沿线坐标，进行街景图的下载；步骤S2：提取街景图的SURF特征点进行配准，利用加权平均融合的方式对街景图进行拼接；步骤S3：对街景图进行蓝天检测，先通过阈值分割检测出待定的蓝天区域再将其中的最大连通区域选定为蓝天，并计算蓝天区域灰度值；步骤S4：判断是否对图像进行去雾操作，若需要进行去雾操作，则利用暗原色先验算法对图像进行去雾处理，并利用导向滤波对去雾结果进行优化；步骤S5：对街景图进行绿化区域的检测，剔除面积过小的连通区域，计算最终确定的绿化区域占图比；步骤S6：计算图像蓝天率、绿化率以及对比度，并结合三者计算图像环境总评。

在本发明一实施例中，在所述步骤S1中，通过如下步骤提取城市街景图：步骤S11：根据输入的城市名与街道名，通过高德地图进行道路解析，获得道路沿线的坐标集，并提取首尾坐标点；步骤S12：在百度地图下由首尾坐标点调取驾车实例获得道路沿线坐标；步骤S13：根据道路沿线坐标进行街景图下载，得到街景图序列。

在本发明一实施例中，在所述步骤S2中，通过如下步骤进行街景图的拼接：步骤S21：首先对图像进行预处理，利用柱面投影，将图像投影到圆柱面上，并利用二次线性插值算法估计变换后坐标点的像素值，提高成像效果；步骤S22：提取图像的SURF特征点，构建特征描述子并对图像进行配准，并利用RANSAC算法筛去冗余的匹配点对；步骤S23：通过加权平均融合方法对图像进行拼接。

在本发明一实施例中，在所述步骤S3中，通过如下步骤进行蓝天检测：步骤S31：分别在RGB与HSV颜色空间上设立阈值，对蓝天区域进行初次分割；步骤S32：将R、G、B三通道值进行归一化，再进行公式为2*B-G-R的加权求和得到参数ε₁，对步骤S31分割出的候选蓝天区域进行筛选；步骤S33：对经步骤S32筛选出的候选蓝天区域进行连通区域分析，选其中面积最大的连通区域为蓝天区域，令Blue表示蓝天区域的深浅即其灰度值。

在本发明一实施例中，其中将限定ε₁的阈值设为0.10

在本发明一实施例中，在所述步骤S4中，通过如下步骤进行去雾处理：

步骤S41：将图片的最小通道值图与均值灰度图做差值运算，得到二者对比图，将对比图的总灰度值除以图像总面积获得参数τ；当τ的值大于预先设定的值时，执行步骤S42，否则跳过步骤S42；步骤S42：利用暗原色先验算法对图像进行去雾操作，暗通道亮度前0.1％的像素点用以计算大气光值，利用导向滤波计算有雾图像的透射率图以去除复原的无雾图中景物边缘的白边，在最后的去雾结果上保留5％的雾以使图像不失真。

在本发明一实施例中，τ预先设定的值为0.05。

在本发明一实施例中，在所述步骤S5中，通过如下步骤进行绿化检测：步骤S51：分别在RGB与HSV颜色空间上设立阈值，对蓝天区域进行初次分割；步骤S52：将R、G、B三通道值进行归一化，再进行公式为2*G-B-R的加权求和得到参数ε₂，对步骤S51分割出的候选绿化区域进行筛选，步骤S53：对经步骤S52筛选出的候选绿化区域进行连通区域分析，将面积小于θ的连通区域剔除。

在本发明一实施例中，ε₂的阈值设为0.14，θ的取值为5。

在本发明一实施例中，在所述步骤S6中，通过如下步骤进行环境评估：步骤S61：引入H表示图像对比度，根据求得的参数τ由公式H＝a·τ^b+c计算对比度；步骤S62：引入B表示图像蓝天率，根据公式B＝p₁·Blue²+p₂·Blue+p₃求得图中环境的蓝天率；其中，p₁＝0.004706，p₂＝0.7474，p₃＝83.19；Blue为其灰度值；步骤S63：引入G表示图像绿化率，根据公式求得图中环境的绿化率；其中，a₁＝237，b₁＝1.983，c₁＝1.969，a₂＝-2.936*10，b₂＝-1.744，c₂＝0.3009；Green表示绿化区域面积占图比；

步骤S64：引入S表示环境总评，根据公式S＝α·B+β·G+λ·H，求得图像中环境结合对比图、蓝天率及绿化率的总评，其中α＝0.34，β＝0.56，λ＝0.10。

相较于现有的传统城市环境评估方法，本发明具有以下有益效果：本发明通过现有的地图API提取城市街景图，然后于计算机视觉领域对街景图内预处理并通过图像对比度、蓝天率与绿化率进行环境评估，无需大量特殊硬件，评估成本低廉。本专利结合多种计算机视觉方法，具有灵活、速度快与成本低等优点，能够达到客观评估城市环境的目的。

附图说明

图1为本发明的主要流程图示意图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步解释说明。

本发明提供一种城市环境评估方法，针对传统的城市环境评估需要大量硬件导致评估成本过高的问题提出了基于街景图的城市环境评估方法。如图1所示，该方法首先通过城市名与道路名进行道路检索，获取道路沿线坐标，从而进行街景图的下载。获取街景图序列后，提取街景图的SURF特征点进行配准，利用加权平均融合的方式对街景图进行拼接。然后，对拼接后的街景图进行蓝天检测，先通过阈值分割检测出待定的蓝天区域再将其中的最大连通区域选定为蓝天，并以蓝天区域的颜色深浅即灰度值作为参考因素进行蓝天率的计算。接着，将图像的均值灰度图与最小通道值图相减得到两图之差，并以两图之差的平均灰度值作为参考因素进行对比度的计算，通过其判断是否进行去雾操作。若需要进行去雾操作，则利用暗原色先验算法对图像进行去雾处理，并利用导向滤波对去雾结果进行优化。接着，对街景图进行绿化区域的检测，并剔除面积过小的连通区域，再以最终的绿化面积占图比作为参数计算绿化率。最后结合蓝天率、绿化率及对比度计算环境总评。具体步骤如下：

步骤S1：通过城市名与道路名进行道路检索，获取道路沿线坐标，进行街景图的下载。

步骤S2：提取街景图的SURF特征点进行配准，利用加权平均融合的方式对街景图进行拼接。

步骤S3：对街景图进行蓝天检测，先通过阈值分割检测出待定的蓝天区域再将其中的最大连通区域选定为蓝天，并计算蓝天区域灰度值。

步骤S4：判断是否对图像进行去雾操作。若需要进行去雾操作，则利用暗原色先验算法对图像进行去雾处理，并利用导向滤波对去雾结果进行优化。

步骤S5：对街景图进行绿化区域的检测，剔除面积过小的连通区域，计算最终确定的绿化区域占图比。

步骤S6：计算图像蓝天率、绿化率以及对比度，并结合三者计算图像环境总评。

进一步的，在本实施例中，在所述步骤S1中，通过如下步骤提取城市街景图：

步骤S11：根据输入的城市名与街道名，通过高德地图进行道路解析，获得道路沿线的坐标集，并提取首尾坐标点。

步骤S12：在百度地图下由首尾坐标点调取驾车实例获得道路沿线坐标。

步骤S13：根据道路沿线坐标进行街景图下载，得到街景图序列。

进一步的，在本实施例中，在所述步骤S2中，通过如下步骤进行街景图的拼接：

步骤S21：首先对图像进行预处理，利用柱面投影，将图像投影到圆柱面上，并利用二次线性插值算法估计变换后坐标点的像素值，提高成像效果。

步骤S22：提取图像的SURF特征点，构建特征描述子并对图像进行配准，并利用RANSAC算法筛去冗余的匹配点对。

步骤S23：通过加权平均融合方法对图像进行拼接。

进一步的，在本实施例中，在所述步骤S3中，通过如下步骤进行蓝天检测：

步骤S31：分别在RGB与HSV颜色空间上设立阈值，对蓝天区域进行初次分割。

步骤S32：将R、G、B三通道值进行归一化，再进行公式为2*B-G-R的加权求和得到参数ε₁，对步骤S31分割出的候选蓝天区域进行筛选，其中将限定ε₁的阈值设为0.10。

步骤S33：对经步骤S32筛选出的候选蓝天区域进行连通区域分析，选其中面积最大的连通区域为蓝天区域，令Blue表示蓝天区域的深浅即其灰度值。

进一步的，在本实施例中，在所述步骤S4中，通过如下步骤进行去雾处理：

步骤S41：将图片的最小通道值图与均值灰度图做差值运算，得到二者对比图，将对比图的总灰度值除以图像总面积获得参数τ。当τ的值大于0.05时，执行步骤S42，否则跳过步骤S42。

步骤S42：利用暗原色先验算法对图像进行去雾操作，暗通道亮度前0.1％的像素点用以计算大气光值，利用导向滤波计算有雾图像的透射率图以去除复原的无雾图中景物边缘的白边，在最后的去雾结果上保留5％的雾以使图像不失真。

进一步的，在本实施例中，在所述步骤S5中，通过如下步骤进行绿化检测：

步骤S51：分别在RGB与HSV颜色空间上设立阈值，对蓝天区域进行初次分割。

步骤S52：将R、G、B三通道值进行归一化，再进行公式为2*G-B-R的加权求和得到参数ε₂，对步骤S51分割出的候选绿化区域进行筛选，其中将限定ε₂的阈值设为0.14。

步骤S53：对经步骤S52筛选出的候选绿化区域进行连通区域分析，将面积小于θ的连通区域剔除，留下最终的绿化区域，θ的取值为5，令Green表示绿化区域面积占图比。

进一步的，在本实施例中，在所述步骤S6中，通过如下步骤进行环境评估：

步骤S61：引入H表示图像对比度，根据求得的参数τ由公式H＝a·τ^b+c计算对比度。

步骤S62：引入B表示图像蓝天率，根据公式B＝p₁·Blue²+p₂·Blue+p₃求得图中环境的蓝天率。其中，p₁＝0.004706，p₂＝0.7474，p₃＝83.19。

步骤S63：引入G表示图像绿化率，根据公式求得图中环境的绿化率。其中，a₁＝237，b₁＝1.983，c₁＝1.969，a₂＝-2.936*10，b₂＝-1.744，c₂＝0.3009。

步骤S64：引入S表示环境总评，根据公式S＝α·B+β·G+λ·H，求得图像中环境结合对比图、蓝天率及绿化率的总评，其中α＝0.34，β＝0.56，λ＝0.10。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (10)

1.一种基于街景图的城市环境评估与分析方法，其特征在于：包括以下步骤：

步骤S1：通过城市名与道路名进行道路检索，获取道路沿线坐标，进行街景图的下载；

步骤S2：提取街景图的SURF特征点进行配准，利用加权平均融合的方式对街景图进行拼接；

步骤S3：对街景图进行蓝天检测，先通过阈值分割检测出待定的蓝天区域再将其中的最大连通区域选定为蓝天，并计算蓝天区域灰度值；

步骤S4：判断是否对图像进行去雾操作，若需要进行去雾操作，则利用暗原色先验算法对图像进行去雾处理，并利用导向滤波对去雾结果进行优化；

步骤S5：对街景图进行绿化区域的检测，剔除面积过小的连通区域，计算最终确定的绿化区域占图比；

步骤S6：计算图像蓝天率、绿化率以及对比度，并结合三者计算图像环境总评。

2.根据权利要求1所述的一种基于街景图的城市环境评估与分析方法，其特征在于：在所述步骤S1中，通过如下步骤提取城市街景图：

步骤S11：根据输入的城市名与街道名，通过高德地图进行道路解析，获得道路沿线的坐标集，并提取首尾坐标点；

步骤S12：在百度地图下由首尾坐标点调取驾车实例获得道路沿线坐标；

步骤S13：根据道路沿线坐标进行街景图下载，得到街景图序列。

3.根据权利要求1所述的一种基于街景图的城市环境评估与分析方法，其特征在于，在所述步骤S2中，通过如下步骤进行街景图的拼接：

步骤S21：首先对图像进行预处理，利用柱面投影，将图像投影到圆柱面上，并利用二次线性插值算法估计变换后坐标点的像素值，提高成像效果；

步骤S22：提取图像的SURF特征点，构建特征描述子并对图像进行配准，并利用RANSAC算法筛去冗余的匹配点对；

步骤S23：通过加权平均融合方法对图像进行拼接。

4.根据权利要求1所述的一种基于街景图的城市环境评估与分析方法，其特征在于，在所述步骤S3中，通过如下步骤进行蓝天检测：

步骤S31：分别在RGB与HSV颜色空间上设立阈值，对蓝天区域进行初次分割；

步骤S32：将R、G、B三通道值进行归一化，再进行公式为2*B-G-R的加权求和得到参数ε₁，对步骤S31分割出的候选蓝天区域进行筛选；

步骤S33：对经步骤S32筛选出的候选蓝天区域进行连通区域分析，选其中面积最大的连通区域为蓝天区域，令Blue表示蓝天区域的深浅即其灰度值。

5.根据权利要求4所述的一种基于街景图的城市环境评估与分析方法，其特征在于：其中将限定ε₁的阈值设为0.10 。

6.根据权利要求1所述的一种基于街景图的城市环境评估与分析方法，其特征在于：在所述步骤S4中，通过如下步骤进行去雾处理：

步骤S41：将图片的最小通道值图与均值灰度图做差值运算，得到二者对比图，将对比图的总灰度值除以图像总面积获得参数τ；当τ的值大于预先设定的值时，执行步骤S42，否则跳过步骤S42；

步骤S42：利用暗原色先验算法对图像进行去雾操作，暗通道亮度前0.1％的像素点用以计算大气光值，利用导向滤波计算有雾图像的透射率图以去除复原的无雾图中景物边缘的白边，在最后的去雾结果上保留5％的雾以使图像不失真。

7.根据权利要求6所述的一种基于街景图的城市环境评估与分析方法，其特征在于：τ预先设定的值为0.05。

8.根据权利要求1所述的一种基于街景图的城市环境评估与分析方法，其特征在于：

在所述步骤S5中，通过如下步骤进行绿化检测：

步骤S51：分别在RGB与HSV颜色空间上设立阈值，对蓝天区域进行初次分割；

步骤S52：将R、G、B三通道值进行归一化，再进行公式为2*G-B-R的加权求和得到参数ε₂，对步骤S51分割出的候选绿化区域进行筛选，

步骤S53：对经步骤S52筛选出的候选绿化区域进行连通区域分析，将面积小于θ的连通区域剔除。

9.根据权利要求8所述的一种基于街景图的城市环境评估与分析方法，其特征在于：ε₂的阈值设为0.14，θ的取值为5。

10.根据权利要求1所述的一种基于街景图的城市环境评估与分析方法，其特征在于：在所述步骤S6中，通过如下步骤进行环境评估：

步骤S61：引入H表示图像对比度，根据求得的参数τ由公式H＝a·τ^b+c计算对比度；

步骤S62：引入B表示图像蓝天率，根据公式B＝p₁·Blue²+p₂·Blue+p₃求得图中环境的蓝天率；其中，p₁＝0.004706，p₂＝0.7474，p₃＝83.19；Blue为其灰度值；

步骤S63：引入G表示图像绿化率，根据公式求得图中环境的绿化率；其中，a₁＝237，b₁＝1.983，c₁＝1.969，a₂＝-2.936*10，b₂＝-1.744，c₂＝0.3009；Green表示绿化区域面积占图比；

步骤S64：引入S表示环境总评，根据公式S＝α·B+β·G+λ·H，求得图像中环境结合对比图、蓝天率及绿化率的总评，其中α＝0.34，β＝0.56，λ＝0.10。