CN113506275A - 一种基于全景城市图像处理方法及应用 - Google Patents

Abstract

本发明公开了一种基于全景城市图像处理方法及应用，包括基于灰度阈值法的天际线提取和360度城市景观绿视率和天视率。本发明通过使用360全景拍摄系统，解决了因为不同人群拍摄样本时的硬件设备不同，并且拍摄的角度和范围都有很大的差异，以及绿视率量化标准的不同，导致的绿视率和天视率计算标准和结果不统一的问题；通过软件对全景图像绿视率进行计算，这样即使在不同的地点拍摄全景图像，统一城市绿视率的量化标准，获得了具有科学性、准确性、可比性的绿视率数值；本发明提出了基于360度全景影像系统计算绿视率的方法，并引入了360度城市景观天视率和绿视率两项指标。通过对仿真实验得到的图像进行对比，证明了本发明算法的有效性和实用性。

Description

一种基于全景城市图像处理方法及应用

技术领域

本发明涉及全景城市图像处理领域，具体为一种基于全景城市图像处理方法及应用。

背景技术

360度全景(360degree Panorama)又被称为虚拟现实场景(SutherlandIvanE1965)，目前360度全景图像的采集设备主要包括：数字单反相机、鱼眼镜头、全景云台以及三角支架等等。通过以上硬件设备进行图像采集，然后经由专门的图像处理软件进行图像的特征提取、图像配准、图像融合最终拼接成所需的全景图像。360度全景图像还可以嵌入到网页或客户端软件中，并且具有多样化的展示方式，支持地图导航、热点虚拟漫游等等。360度全景在当下应用领域十分广泛，具有广阔的发展空间，无论在商业领域、文化领域，还是科研领域都可以其特有的优势。

国内学者对全景图像生成方法做了许多研究。传统的全景图像的采集方法主要有两种：一种使直接利用专用的广角成像设备，一次拍摄水平方向的足够大的图像。例如使用鱼眼光学镜头、凸面反射光学镜头等非线性光学成像设备来获取全景图像。由于鱼眼镜头、凸面反射光学镜头等属于专用的广角成像设备，因此其造价成本比较高、分辨率和视角不能兼顾，并且所拍摄的图像容易产生畸变，除此之外，图像在经过后期处理校正之后，仍会存在图像分辨率不均匀、色差明显等问题。第二种是使用普通相机，为了获取大视场的图像，需要调节相机焦距才能实现，但是这样获取的图像分辨率极低，如果要提高图像分辨率，则图像的视场就会变小，这是小成本相机固有的局限性，为此我们提出一种基于全景城市图像处理方法及应用。

发明内容

基于背景技术存在的技术问题，本发明提出了一种基于全景城市图像处理方法及应用，以解决背景技术中提出的问题。

本发明提供如下技术方案：

一种基于全景城市图像处理方法及应用，包括基于灰度阈值法的天际线提取和360度城市景观绿视率和天视率，所述基于灰度阈值法的天际线提取包括如下步骤：

A、图像预处理：图像的预处理过程是对输入的图像进行变换，从而得到清晰图像的过程；

B、阈值分割：阈值分割法的原理是将图像中的目标和背景两类区域按照阈值判断将两者分离：

阈值分割分隔的原理为：若图像f(x,y)的灰度区间为[T_min,T_max]，在该区间内设置一个阈值T，且T_min＜T＜T_max，令图像中所有灰度值小于或等于T的像素的新灰度值都为0，大于T的像素的新灰度值都为1，经过这样的阈值分割构建出一个输出的二值图像f′(x,y)；

C、缺陷修补：经过阈值分割后的到的二值图像中可能存在断线、凹槽、和毛边的缺陷；基于非线性的滤波方法，采用数学形态学的基本原理，利用其中的膨胀和腐蚀运算，可以对图像在一定程度、方向上进行加厚和减薄，其方向取决于膨胀腐蚀采用的结构元素的形状和大小，根据数学形态学理论对二值图像进行缺陷修补，已消除图像中的缺陷和噪声；

D、天际线提取：通过阈值分割获取的二值图像经过开运算缺陷修补之后，需要进行天际线提取以获得图像中的二维轮廓；天际线的提取主要包括两个步骤：

a、先要对经过开运算缺陷修补后的二值图像进行连通区筛选，确定最大连通区后对该区域进行标定；

b、采用掏空内部点的方式对二值图像进行天际线提取；

所述360度城市景观绿视率和天视率包括如下步骤：

A、绿视率和天视率：绿视率是图像中绿色植物像元个数占图像总像元个数的比率，其单位由像元(Pixel)个数来标定，公式如下：

与绿视率相似，天视率可以定义为图像中天空区域像元个数占图像中像元个数的比率，单位与绿视率相同，公式如下：

B、颜色模型：颜色是一种能简化目标提取和分类的重要描述符，所以选择合适的对颜色的表达方式是至关重要的，对颜色特征表达依赖于所用的颜色模型，并不是所有的颜色空间都与人的感觉相一致，从物理学的角度来说，颜色的感知源于刺激视网膜的电磁辐射的谱能量，这些谱能量分布可以记为E(λ)，其中λ分布在波长为可见光段350-780nm之间E(λ)与光源的分布S(λ)和被光所照射的物体反射特性R(λ)是相关联的，公式可表达为：

E(λ)＝S(λ)R(λ)(4)

C、图像绿色信号提取：在RGB和HSI颜色空间中，对于图像中绿色信号的提取，将绿色作为特征，通过使用阈值的方法将图像分割为绿色和非绿色部分；

D、仿真实验结果：绿视率的实际计算过程是先利用高斯滤波对原始图像进行预处理，使图像更加平滑；然后，将预处理后的中间结果使用图像绿色信号提取方法将绿色信号提取出来；将提取出的绿色信号图像进行二值化处理，计算图像白色区域与图像大小的面积比；最终得出图像的绿视率数值。

优选的，所述阈值分割的目标是在尽可能多地保留原图像特征的前提下舍弃冗余信息，在单阈值割法中其核心问题是如何正确地确定灰度阈值T，即确定灰度值的突变点，为了能够选取合适的阈值T，基于逼近的思想，根据灰度直方图的统计结果确定初始阈值，利用该阈值分割为目标和背景并把两者的灰度平均值的均值作为新的阈值，通过迭代指导前后两次循环的结果值的差值小于0.001时循环停止，以此的处灰度阈值T，其具体的步骤如下：

(1)求出图像的最大灰度值T_max和最小灰度值T_min，领初始阈值T₀＝(T_max+T_min)/2；

(2)根据阈值T将原图像分割为目标和背景，分别求出两者的平均灰度值为T_O和T_B；

(3)求出新的阈值T₁＝(T_O+T_B)/2；

(4)若|T_n+1-T_n|≤0.001，则所得即为阈值，跳出循环；或者循环的次数达到500次，则取最后一个值为阈值；否则将T_n赋值为T_n+1转入步骤(2)进行迭代计算。

优选的，所述天际线提取原理为：假定背景颜色为黑色，目标颜色为白色，如果原图像中有一个像素点为白色，则对其周围邻近区域剩余8个像素点进行判别，若这9个像素点都为白色，则确定该点的内部点，通过遍历整个图像，将最大连通区域内的内部点全部清空，在二值图像中，假定背景像素灰度值为0，景物的像素灰度值为1，天际线的提取规则如下：

(1)若中心像素值为0，不管相邻的其余8个像素为何值，一律保留中心像素值0；

(2)若中心像素值为1，且相邻的其余8个像素值皆为1，则改变中心像素值为0；

(3)除(1)、(2)两种情况之外的中心像素值都改为1；

(4)遍历图像上所有的点，最后得到的矩阵即为天际线信息。

本发明提供了一种基于全景城市图像处理方法及应用，本发明通过使用360全景拍摄系统，解决了因为不同人群拍摄样本时的硬件设备不同，并且拍摄的角度和范围都有很大的差异，以及绿视率量化标准的不同，导致的绿视率和天视率计算标准和结果不统一的问题；通过自主开发的软件对全景图像绿视率进行计算，这样即使在不同的地点拍摄全景图像，统一城市绿视率的量化标准，获得了具有科学性、准确性、可比性的绿视率数值；本发明提出了基于360度全景影像系统计算绿视率的方法，并引入了360度城市景观天视率和绿视率两项指标。通过对仿真实验得到的图像进行对比，证明了本发明算法的有效性和实用性。

附图说明

图1为本发明天际线提取流程图；

图2为本发明RGB颜色空间模型图；

图3为本发明HSI彩色模型图；

图4为本发明RGB和HSI颜色模型对于常见颜色的描述对比图；

图5为本发明HSI颜色空间下绿色信号目标提取准则图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-5，本发明提供一种技术方案：

一种基于全景城市图像处理方法及应用，包括基于灰度阈值法的天际线提取和360度城市景观绿视率和天视率，基于灰度阈值法的天际线提取包括如下步骤：

A、图像预处理：图像的预处理过程是对输入的图像进行变换，从而得到清晰图像的过程；

B、阈值分割：阈值分割法的原理是将图像中的目标和背景两类区域按照阈值判断将两者分离：

阈值分割分隔的原理为：若图像f(x,y)的灰度区间为[T_min,T_max]，在该区间内设置一个阈值T，且T_min＜T＜T_max，令图像中所有灰度值小于或等于T的像素的新灰度值都为0，大于T的像素的新灰度值都为1，经过这样的阈值分割构建出一个输出的二值图像f′(x,y)；

C、缺陷修补：经过阈值分割后的到的二值图像中可能存在断线、凹槽、和毛边的缺陷；基于非线性的滤波方法，采用数学形态学的基本原理，利用其中的膨胀和腐蚀运算，可以对图像在一定程度、方向上进行加厚和减薄，其方向取决于膨胀腐蚀采用的结构元素的形状和大小，常见的形状有菱形、矩形、正方形和圆形等，根据数学形态学理论对二值图像进行缺陷修补，已消除图像中的缺陷和噪声；

数学形态学用集合来描述二值图像，用结构元素对图像进行形态学变换。其中形态学变换主要包括：膨胀Dilation)、腐蚀(Erosion)、开运算(Open)、闭运算(Close)以上四种；

设P为输入的二值图像，采用结构元素S对图像进行形态学处理。P被S膨胀可以被表示为：

P被S腐蚀可以被表示为：

P被S作开运算可以被表示为：

P被S作闭运算可以被表示为：

基于数学形态学的缺陷修补方法中，结构元素S的形状和大小都直接影响缺陷修补的效果；不同形状的结构元素(圆形、正方形、菱形等)对于图像噪声及缺陷的敏感程度不同，结构元素的形状应依据缺陷的具体情况而定；

D、天际线提取：通过阈值分割获取的二值图像经过开运算缺陷修补之后，需要进行天际线提取以获得图像中的二维轮廓；天际线的提取主要包括两个步骤：

a、先要对经过开运算缺陷修补后的二值图像进行连通区筛选，确定最大连通区后对该区域进行标定；

b、采用掏空内部点的方式对二值图像进行天际线提取；

360度城市景观绿视率和天视率包括如下步骤：

A、绿视率和天视率：绿视率是图像中绿色植物像元个数占图像总像元个数的比率，其单位由像元(Pixel)个数来标定，公式如下：

与绿视率相似，天视率可以定义为图像中天空区域像元个数占图像中像元个数的比率，单位与绿视率相同，公式如下：

B、颜色模型：颜色是一种能简化目标提取和分类的重要描述符，所以选择合适的对颜色的表达方式是至关重要的，对颜色特征表达依赖于所用的颜色模型，并不是所有的颜色空间都与人的感觉相一致，从物理学的角度来说，颜色的感知源于刺激视网膜的电磁辐射的谱能量，这些谱能量分布可以记为E(λ)，其中λ分布在波长为可见光段350-780nm之间E(λ)与光源的分布S(λ)和被光所照射的物体反射特性R(λ)是相关联的，公式可表达为：

E(λ)＝S(λ)R(λ) (4)

RGB模型

面向硬件和视觉感知的最常用的模型是RGB颜色空间，该模型充分利用了人视觉系统与光的组成原理之间的联系；根据人眼结构，所有颜色都可以看做是3个基本颜色：红(R，red)、绿(G，green)和蓝(B，blue)的不同组合。这3种基本色R、G、B的波长分别为700nm、546nm、435.8nm；由于光源光谱是连续渐变的，因此只有3种基本波长并不代表仅由3个固定的R、G、B分量就可以组成所有颜色。RGB颜色空间模型如图2所示；

3个颜色分量R、G、B位于坐标轴上；青、深红和黄位于正方体的另外3个点上；黑色位于原点处；白色位于与原点对角线的点上；由于RGB颜色空间受光照影响很大，为了减少光照的影响，需要将图像进行归一化处理，提取出图像中的R、G、B三个分量。在该模型中，灰度等级沿着黑白两点的连线分布。每一个分量的图像都是其原色图像，用以表示每一个像素的比特数叫做像素深度；对于uint8格式的图像，每一个RGB彩色有24比特深度，在24比特RGB图像中颜色的总数为用以表示每一个像素的比特数叫做像素深度；对于uint8格式的图像，每一个RGB彩色有24比特深度，在24比特RGB图像中颜色的总数为(2⁸)＝16777216；

设为组成某种颜色所需的3个刺激量分别用X、Y、Z表示，这三个值与R、G、B有如下关系：

对于白光，有X＝1、Y＝1、Z＝1。设每一种刺激量的比例系数(色系数)为x、y、z，则有颜色C＝xX+yY+zZ，色系数公式为：

RGB模型是所有颜色空间中最基本的模型，虽然它很好的诠释了颜色属性，但对于人眼感知还是具有一定的局限性，因此在颜色的描述和处理上有许多限制；

HSI模型

HSI模型使用色调H(hue)、饱和度(Saturation)和亮度I(intensity)来对彩色物体进行描述；色调是描述纯色的属性；反之，饱和度给出了一种纯色被白光稀释程度的度量；亮度是一个主观的描述子，它体现了光强度的特性，是描述色彩感觉的关键参数。HSI彩色模型图如图3所示：

从RGB空间到HSI空间的颜色转换：

对于给定的一幅RGB彩色图像，其对应的色调、饱和度和亮度可以经下面公式得到：

在RGB和HSI颜色空间中，对于图像中绿色信号的提取，将绿色作为特征，通过使用阈值的方法将图像分割为绿色和非绿色部分；

RGB颜色空间中的绿色信号提取

在RGB颜色空间中进行图像绿色信号提取，需要先对输入图像进行预处理，关于图像预处理的方法已经在图像与处理中进行阐述。经过图像预处理之后，为进行绿色特征判断，使用掩模的方法对图像各点处的R、G、B分量进行处理，模板为[-12-1]。该模板的作用是用来强调绿色信号，抑制红色和蓝色信号，并且该模板还具有对称性，模板长度为奇数且和为0。在理想情况下，对于蓝色和红色比较突出的区域，使用该模板运算后的结果必为负值；白色区域使用该模板运算后得到的结果为0；只有绿色区域在模板运算中结果大于0；除此之外的颜色经模板运算后都为负值。因此，对于绿色信号的提取转变成经模板运算后结果大于0的像元提取过程。这种方法可以非常方便的将图像中的绿色信号进行分离，避免了阈值选择的过程。在4.2.1公式(9)和(10)，得到图像信号的掩模公式为：

Signal_G＝[-1 2 -1]·[x y z]^T (14)

HSI颜色空间中的绿色信号提取

当图像用unit8格式进行存储时，纯绿色的RGB值为(0，255，0)，此时的H＝120°，S＝1，I＝85。由于被提取的植物颜色不一定为纯绿色，因此提取绿色时要给H先定在适当的范围(于黄色和青色之间)；另外，饱和度S越大，所表示的颜色就越接近纯色；相反，饱和度S越小，所表示的颜色越接近纯灰色。因此，只要适当的为H、S、I设置取值范围，就可以将图像中的绿色目标进行提取，HSI颜色空间下绿色信号提取准则如图5所示：

C、图像绿色信号提取：在RGB和HSI颜色空间中，对于图像中绿色信号的提取，将绿色作为特征，通过使用阈值的方法将图像分割为绿色和非绿色部分；

D、仿真实验结果：绿视率的实际计算过程是先利用高斯滤波对原始图像进行预处理，使图像更加平滑；然后，将预处理后的中间结果使用图像绿色信号提取方法将绿色信号提取出来；将提取出的绿色信号图像进行二值化处理，计算图像白色区域与图像大小的面积比；最终得出图像的绿视率数值。

进一步地，阈值分割的目标是在尽可能多地保留原图像特征的前提下舍弃冗余信息，在单阈值割法中其核心问题是如何正确地确定灰度阈值T，即确定灰度值的突变点，为了能够选取合适的阈值T，基于逼近的思想，根据灰度直方图的统计结果确定初始阈值，利用该阈值分割为目标和背景并把两者的灰度平均值的均值作为新的阈值，通过迭代指导前后两次循环的结果值的差值小于0.001时循环停止，以此的处灰度阈值T，其具体的步骤如下：

(1)求出图像的最大灰度值T_max和最小灰度值T_min，领初始阈值T₀＝(T_max+T_min)/2；

(2)根据阈值T将原图像分割为目标和背景，分别求出两者的平均灰度值为T_O和T_B；

(3)求出新的阈值T₁＝(T_O+T_B)/2；

(4)若|T_n+1-T_n|≤0.001，则所得即为阈值，跳出循环；或者循环的次数达到500次，则取最后一个值为阈值；否则将T_n赋值为T_n+1转入步骤(2)进行迭代计算。

进一步地，天际线提取原理为：假定背景颜色为黑色，目标颜色为白色，如果原图像中有一个像素点为白色，则对其周围邻近区域剩余8个像素点进行判别，若这9个像素点都为白色，则确定该点的内部点，通过遍历整个图像，将最大连通区域内的内部点全部清空，在二值图像中，假定背景像素灰度值为0，景物的像素灰度值为1，天际线的提取规则如下：

(1)若中心像素值为0，不管相邻的其余8个像素为何值，一律保留中心像素值0；

(2)若中心像素值为1，且相邻的其余8个像素值皆为1，则改变中心像素值为0；

(3)除(1)、(2)两种情况之外的中心像素值都改为1；

(4)遍历图像上所有的点，最后得到的矩阵即为天际线信息。

以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于全景城市图像处理方法及应用，包括基于灰度阈值法的天际线提取和360度城市景观绿视率和天视率，其特征在于：所述基于灰度阈值法的天际线提取包括如下步骤：

A、图像预处理：图像的预处理过程是对输入的图像进行变换，从而得到清晰图像的过程；

B、阈值分割：阈值分割法的原理是将图像中的目标和背景两类区域按照阈值判断将两者分离：

阈值分割分隔的原理为：若图像f(x,y)的灰度区间为[T_min,T_max]，在该区间内设置一个阈值T，且T_min＜T＜T_max，令图像中所有灰度值小于或等于T的像素的新灰度值都为0，大于T的像素的新灰度值都为1，经过这样的阈值分割构建出一个输出的二值图像T_min＜T＜T_max；

C、缺陷修补：经过阈值分割后的到的二值图像中可能存在断线、凹槽、和毛边的缺陷；基于非线性的滤波方法，采用数学形态学的基本原理，利用其中的膨胀和腐蚀运算，可以对图像在一定程度、方向上进行加厚和减薄，其方向取决于膨胀腐蚀采用的结构元素的形状和大小，根据数学形态学理论对二值图像进行缺陷修补，已消除图像中的缺陷和噪声；

D、天际线提取：通过阈值分割获取的二值图像经过开运算缺陷修补之后，需要进行天际线提取以获得图像中的二维轮廓；天际线的提取主要包括两个步骤：

a、先要对经过开运算缺陷修补后的二值图像进行连通区筛选，确定最大连通区后对该区域进行标定；

b、采用掏空内部点的方式对二值图像进行天际线提取；

所述360度城市景观绿视率和天视率包括如下步骤：

A、绿视率和天视率：绿视率是图像中绿色植物像元个数占图像总像元个数的比率，其单位由像元(Pixel)个数来标定，公式如下：

与绿视率相似，天视率可以定义为图像中天空区域像元个数占图像中像元个数的比率，单位与绿视率相同，公式如下：

B、颜色模型：颜色是一种能简化目标提取和分类的重要描述符，所以选择合适的对颜色的表达方式是至关重要的，对颜色特征表达依赖于所用的颜色模型，并不是所有的颜色空间都与人的感觉相一致，从物理学的角度来说，颜色的感知源于刺激视网膜的电磁辐射的谱能量，这些谱能量分布可以记为E(λ)，其中λ分布在波长为可见光段350-780nm之间E(λ)与光源的分布S(λ)和被光所照射的物体反射特性R(λ)是相关联的，公式可表达为：

E(λ)＝S(λ)R(λ) (4)

C、图像绿色信号提取：在RGB和HSI颜色空间中，对于图像中绿色信号的提取，将绿色作为特征，通过使用阈值的方法将图像分割为绿色和非绿色部分；

D、仿真实验结果：绿视率的实际计算过程是先利用高斯滤波对原始图像进行预处理，使图像更加平滑；然后，将预处理后的中间结果使用图像绿色信号提取方法将绿色信号提取出来；将提取出的绿色信号图像进行二值化处理，计算图像白色区域与图像大小的面积比；最终得出图像的绿视率数值。

2.根据权利要求1所述的一种基于全景城市图像处理方法及应用，其特征在于：所述阈值分割的目标是在尽可能多地保留原图像特征的前提下舍弃冗余信息，在单阈值割法中其核心问题是如何正确地确定灰度阈值T，即确定灰度值的突变点，为了能够选取合适的阈值T，基于逼近的思想，根据灰度直方图的统计结果确定初始阈值，利用该阈值分割为目标和背景并把两者的灰度平均值的均值作为新的阈值，通过迭代指导前后两次循环的结果值的差值小于0.001时循环停止，以此的处灰度阈值T，其具体的步骤如下：

(1)求出图像的最大灰度值T_max和最小灰度值T_min，领初始阈值T₀＝(T_max+T_min)/2；

(2)根据阈值T将原图像分割为目标和背景，分别求出两者的平均灰度值为T_O和T_B；

(3)求出新的阈值T₁＝(T_O+T_B)/2；

(4)若|T_n+1-T_n|≤0.001，则所得即为阈值，跳出循环；或者循环的次数达到500次，则取最后一个值为阈值；否则将T_n赋值为T_n+1转入步骤(2)进行迭代计算。

3.根据权利要求1所述的一种基于全景城市图像处理方法及应用，其特征在于：所述天际线提取原理为：假定背景颜色为黑色，目标颜色为白色，如果原图像中有一个像素点为白色，则对其周围邻近区域剩余8个像素点进行判别，若这9个像素点都为白色，则确定该点的内部点，通过遍历整个图像，将最大连通区域内的内部点全部清空，在二值图像中，假定背景像素灰度值为0，景物的像素灰度值为1，天际线的提取规则如下：

(1)若中心像素值为0，不管相邻的其余8个像素为何值，一律保留中心像素值0；

(2)若中心像素值为1，且相邻的其余8个像素值皆为1，则改变中心像素值为0；

(3)除(1)、(2)两种情况之外的中心像素值都改为1；

(4)遍历图像上所有的点，最后得到的矩阵即为天际线信息。

Images