CN105374010A - 全景图像的生成方法 - Google Patents

Abstract

本发明提供一种全景图像的生成方法，包括步骤：采集照片序列、图像拼接以及图像缝合；其中，图像拼接包括图像平滑、环形特征模板的提取、粗匹配和精匹配等步骤；在图像拼接完成后再进行图像缝合。本发明的全景图像的处理方法，在充分分析产品表面图像特征的基础上,把双阈值变换方法和梯度直方图均衡算法相结合对图像进行增强，并同时进行图像分割，提高了处理速度；且对外界光的影响不敏感，对环境的适应性较强，其速度比单纯采用欧式距离进行判断要快很多。

Description

全景图像的生成方法

技术领域

本发明涉及一种全景图像的生成方法。

背景技术

目前，使用具有图像采集单元的电子设备，如照相机，拍摄的一张图像只能记录物体的一面，为更加完整记录物体(如展品、雕塑等)的外观，需要为同一物体拍摄多张图像。但是各张图像依旧只能展现物体的一面，无法在一张图像上展现物体的全貌。虽然可以使用摄像机环绕拍摄来完整记录物体的外观，但是摄像机拍摄得到的视频流不仅数据量巨大，而且需要特定的播放器才能播放，导致适用性较差。

发明内容

本发明的目的是：克服现有技术的不足，提供一种处理速度快、处理效果好的全景图像的生成方法。

本发明的技术方案是：本发明的全景图像的生成方法，包括以下步骤：

①采集照片序列：将拍摄的真实场景的照片作为图像样本，并对图像样本进行灰度化处理；

②图像拼接：

第一步，图像平滑：对灰度化的图像样本进行平滑处理,图像样本平滑处理的公式为：

式中，f(i,j)是输入图像，h(i,j)是平滑卷积滤波器，g(i,j)是输出图像；

第二步，环形特征模板的提取：在二维直方图上用双门限对原始图像进行分割，经过标记、筛选处理后，快速提取匹配过程中所需的匹配模板，将选取的特征块的中心位置作为环形模板的中心像素点，从而建立环形模板；

第三步，粗匹配：用于排出明显失配点，选择出待匹配点；选择好作为模板的环形像素点后，在匹配区域中寻找与环形像素点相匹配的点，采用下列公式计算：

式中，表示模板中第i个环形像素点；p为所选取的环形像素点的个数；表示匹配区域中以点(m,n)为中心所决定的环形像素点中，与模板第i个环形像素点所对应的点,其数量同样为p个；T为设定的阀值，表示待匹配图像对应像素点的灰度绝对差，若小于该阀值，则认为两点匹配，记为1，反之则不匹配，记为0；阀值T的选择范围为10～20之间；式中，A(m,n)表示像素点(m,n)，表示待匹配图像对应像素点的灰度绝对差；

第四步，精匹配：粗匹配之后，在所有待匹配点计算全模板匹配点数,选出匹配点数最大区域作为最佳匹配位置；精匹配使用模板的全部像素与待匹配点对应窗口中的全部像素进行匹配,采用下列公式计算:

式中，f1(x,y)为模板像素灰度,模板大小为M×N；f₂(x+m,y+n)为匹配区域中点(m,n)所对应的匹配窗口像素灰度；B(m,n)表示像素点(m,n)，D(f₁(x，y),f₂(x+m,y+n))表示待匹配图像对应像素点的灰度绝对差；T为设定的阀值，表示待匹配图像对应像素点的灰度绝对差，若小于该阀值，则认为两点匹配，记为1，反之则不匹配，记为0；阀值T的选择范围为10～20之间；

通过计算，选择B(m,n)最大的点为像素匹配点，从而确定相邻图像间横、纵方向上的位置差；

③图像缝合：

取相邻两幅图，分别为S1和S2，两幅图具有重叠部分P1、P2、P3；设S1和S2在重叠部分中对应像素点的值为image1和image2；

取Mid＝d×image1+(1-d)×image2,d∈(0,1),按照S1从S1到S2的方向由1渐变至0；设拼接后的图像重叠区域中像素点的值为image3；

取一个阈值Limen,并将拼接后的图像重叠部分按从左到右分为一定的等份；在不同的区域相应选取不同的阀值，采用以下公式计算：

式中，inS1:image3表示重叠区P1的像素点值,inS2:image3表示重叠区P2的像素点值,inS3:image3表示重叠区P3的像素点值。

本发明具有积极的效果：(1)本发明的全景图像的生成方法，在充分分析产品表面图像特征的基础上,把双阈值变换方法和梯度直方图均衡算法相结合对图像进行增强，并同时进行图像分割，提高了处理速度；这种算法并且对外界光的影响不敏感，对环境的适应性较强；图像二值化后，为了准确地统计缺陷的特征参数以进行缺陷识别，提出了一种缺陷的快速识别算法,克服了常用目标识别算法运算量大、速度慢等缺点，满足了图像的实时处理的要求；这种快速的图像分割及缺陷识别综合算法稍加修改即可应用于其它的目标识别场合,具有较大的实际应用价值。(2)本发明的全景图像的生成方法，充分考虑了二值化图像中目标像素之间的分布特点,不需要事先确定总目标数,而是自动生成；该算法只扫描图像一次，并将图像扫描过程与目标的聚类过程融为一体，扫描结束，目标聚类完成；在实际算法实现时，图像自上而下扫描，只扫描当前像素的左上、正上、右上三个像素,只要其中有一个像素属于当前目标，则当前像素归属当前目标；在目标归类时，再用欧氏距离进行判断，这种处理方式的速度要比单纯采用欧式距离进行判断要快很多。

具体实施方式

下面以具体实施方式对本发明作进一步详细的说明。

(实施例1)

本实施例的全景图像的生成方法，包括以下步骤：

①采集照片序列：将拍摄的真实场景的照片作为图像样本，并对图像样本进行灰度化处理；

②图像拼接：

第一步，图像平滑：对灰度化的图像样本进行平滑处理,图像样本平滑处理的公式为：

式中，f(i,j)是输入图像，h(i,j)是平滑卷积滤波器，g(i,j)是输出图像；

第二步，环形特征模板的提取：在二维直方图上用双门限对原始图像进行分割，经过标记、筛选处理后，快速提取匹配过程中所需的匹配模板，将选取的特征块的中心位置作为环形模板的中心像素点，从而建立环形模板；

第三步，粗匹配：用于排出明显失配点，选择出待匹配点；选择好作为模板的环形像素点后，在匹配区域中寻找与环形像素点相匹配的点，采用下列公式计算：

式中，表示模板中第i个环形像素点；p为所选取的环形像素点的个数；表示匹配区域中以点(m,n)为中心所决定的环形像素点中，与模板第i个环形像素点所对应的点,其数量同样为p个；T为设定的阀值，表示待匹配图像对应像素点的灰度绝对差，若小于该阀值，则认为两点匹配，记为1，反之则不匹配，记为0；阀值T的选择范围为10～20之间；式中，A(m,n)表示像素点(m,n)，表示待匹配图像对应像素点的灰度绝对差；

第四步，精匹配：粗匹配之后，在所有待匹配点计算全模板匹配点数,选出匹配点数最大区域作为最佳匹配位置；精匹配使用模板的全部像素与待匹配点对应窗口中的全部像素进行匹配,采用下列公式计算:

式中，f1(x,y)为模板像素灰度,模板大小为M×N；f₂(x+m,y+n)为匹配区域中点(m,n)所对应的匹配窗口像素灰度；B(m,n)表示像素点(m,n)，D(f₁(x，y),f₂(x+m,y+n))表示待匹配图像对应像素点的灰度绝对差；T为设定的阀值，表示待匹配图像对应像素点的灰度绝对差，若小于该阀值，则认为两点匹配，记为1，反之则不匹配，记为0；阀值T的选择范围为10～20之间；

通过计算，选择B(m,n)最大的点为像素匹配点，从而确定相邻图像间横、纵方向上的位置差；

③图像缝合：

取相邻两幅图，分别为S1和S2，两幅图具有重叠部分P1、P2、P3；设S1和S2在重叠部分中对应像素点的值为image1和image2；

取Mid＝d×image1+(1-d)×image2,d∈(0,1),按照S1从S1到S2的方向由1渐变至0；设拼接后的图像重叠区域中像素点的值为image3；

取一个阈值Limen,并将拼接后的图像重叠部分按从左到右分为一定的等份；在不同的区域相应选取不同的阀值，采用以下公式计算：

式中，inS1:image3表示重叠区P1的像素点值,inS2:image3表示重叠区P2的像素点值,inS3:image3表示重叠区P3的像素点值。

本实施例的全景图像的生成方法，在充分分析产品表面图像特征的基础上,把双阈值变换方法和梯度直方图均衡算法相结合对图像进行增强，并同时进行图像分割，提高了处理速度；这种算法并且对外界光的影响不敏感，对环境的适应性较强；图像二值化后，为了准确地统计缺陷的特征参数以进行缺陷识别，提出了一种缺陷的快速识别算法,克服了常用目标识别算法运算量大、速度慢等缺点，满足了图像的实时处理的要求；这种快速的图像分割及缺陷识别综合算法稍加修改即可应用于其它的目标识别场合,具有较大的实际应用价值；本实施例的全景图像的生成方法，充分考虑了二值化图像中目标像素之间的分布特点,不需要事先确定总目标数,而是自动生成；该算法只扫描图像一次，并将图像扫描过程与目标的聚类过程融为一体，扫描结束，目标聚类完成；在实际算法实现时，图像自上而下扫描，只扫描当前像素的左上、正上、右上三个像素,只要其中有一个像素属于当前目标，则当前像素归属当前目标；在目标归类时，再用欧氏距离进行判断，这种处理方式的速度要比单纯采用欧式距离进行判断要快很多。

以上实施例是对本发明的具体实施方式的说明，而非对本发明的限制，有关技术领域的技术人员在不脱离本发明的精神和范围的情况下，还可以做出各种变换和变化而得到相对应的等同的技术方案，因此所有等同的技术方案均应该归入本发明的专利保护范围。

Claims (1)

1.一种全景图像的生成方法，其特征在于：包括以下步骤：

①采集照片序列：将拍摄的真实场景的照片作为图像样本，并对图像样本进行灰度化处理；

②图像拼接：

第一步，图像平滑：对灰度化的图像样本进行平滑处理,图像样本平滑处理的公式为：

$g(i,j)=h(i,j)*f(i,j)=\underset{k=0}{\overset{m-1}{\Σ}}\underset{l=0}{\overset{n-1}{\Σ}}h(k,l)f(i-k,j-l);$

式中，f(i,j)是输入图像，h(i,j)是平滑卷积滤波器，g(i,j)是输出图像；

第二步，环形特征模板的提取：在二维直方图上用双门限对原始图像进行分割，经过标记、筛选处理后，快速提取匹配过程中所需的匹配模板，将选取的特征块的中心位置作为环形模板的中心像素点，从而建立环形模板；

第三步，粗匹配：用于排出明显失配点，选择出待匹配点；选择好作为模板的环形像素点后，在匹配区域中寻找与环形像素点相匹配的点，采用下列公式计算：

$A(m,n)=\underset{t=1}{\overset{p}{\Σ}}D(f_1^1,f_2^1(m,n\left)\right);$

$D(f_1^1,f_2^1(m,n\left)\right)=\left\{\begin{array}{cc}1,& |f_1^1-f_2^1\left(m,n\right)\≤T\\ 0,& |f_1^1-f_2^1\left(m,n\right)>T\end{array}\right.;$

式中，表示模板中第i个环形像素点；p为所选取的环形像素点的个数； $f_2^1(m,n)=f_2(x_i+m,y_i+n)$ 表示匹配区域中以点(m,n)为中心所决定的环形像素点中，与模板第i个环形像素点所对应的点,其数量同样为p个；T为设定的阀值，表示待匹配图像对应像素点的灰度绝对差，若小于该阀值，则认为两点匹配，记为1，反之则不匹配，记为0；阀值T的选择范围为10～20之间；式中，A(m,n)表示像素点(m,n)，表示待匹配图像对应像素点的灰度绝对差；

第四步，精匹配：粗匹配之后，在所有待匹配点计算全模板匹配点数,选出匹配点数最大区域作为最佳匹配位置；精匹配使用模板的全部像素与待匹配点对应窗口中的全部像素进行匹配,采用下列公式计算:

$B(m,n)=\underset{x=1}{\overset{M}{\Σ}}\underset{y=1}{\overset{N}{\Σ}}D\left(f_1\right(x,y),f_2(x+m,y+n\left)\right);$

$\begin{array}{c}D\left(f_1\right(x,y),f_2(x+m,y+n\left)\right)=\\ \left\{\begin{array}{cc}1,& |f_1\left(x,y\right)-f_2\left(x+m,y+n\right)|\≤T\\ 0,& |f_1\left(x,y\right)-f_2\left(x+m,y+n\right)|\≤T\end{array}\right.\end{array};$

式中，f1(x,y)为模板像素灰度,模板大小为M×N；f₂(x+m,y+n)为匹配区域中点(m,n)所对应的匹配窗口像素灰度；B(m,n)表示像素点(m,n)，D(f₁(x，y),f₂(x+m,y+n))表示待匹配图像对应像素点的灰度绝对差；T为设定的阀值，表示待匹配图像对应像素点的灰度绝对差，若小于该阀值，则认为两点匹配，记为1，反之则不匹配，记为0；阀值T的选择范围为10～20之间；

通过计算，选择B(m,n)最大的点为像素匹配点，从而确定相邻图像间横、纵方向上的位置差；

③图像缝合：

取相邻两幅图，分别为S1和S2，两幅图具有重叠部分P1、P2、P3；设S1和S2在重叠部分中对应像素点的值为image1和image2；

取Mid＝d×image1+(1-d)×image2,d∈(0,1),按照S1从S1到S2的方向由1渐变至0；设拼接后的图像重叠区域中像素点的值为image3；

取一个阈值Limen,并将拼接后的图像重叠部分按从左到右分为一定的等份；在不同的区域相应选取不同的阀值，采用以下公式计算：

$inS1:image3=\left\{\begin{array}{cc}Mid& |image1-Mid|<Limen\\ \mathrm{Im}age1& |image1-Mid|\&GreaterEqual;Limen\end{array}\right.;$

$inS2:image3=\left\{\begin{array}{cc}Mid& |Max\left(image1,image2\right)-Mid|<Limen\\ Max\left(image1,image2\right)& |Max\left(image1,image2\right)-Mid|\&GreaterEqual;Limen\end{array}\right.;$

$inS3:image3=\left\{\begin{array}{cc}Mid& |image1-Mid|<Limen\\ \mathrm{Im}age2& |image2-Mid|\&GreaterEqual;Limen\end{array}\right.;$

式中，inS1:image3表示重叠区P1的像素点值,inS2:image3表示重叠区P2的像素点值,inS3:image3表示重叠区P3的像素点值。