CN104899924A - 基于蛙跳算法的直线射影深度估计方法 - Google Patents

Abstract

本发明公开一种基于蛙跳算法的直线射影深度估计方法，其首先将n个三维空间物体点通过q个射影矩阵投射到透视图像序列上，生成测量矩阵；然后对所得透视图像序列及测量矩阵进行归一化处理；最后生成G个青蛙，每个青蛙代表一个解，并利用蛙跳算法选出整个种群中适应度最好青蛙，并将最好青蛙所代表的解作为待求的射影深度输出。本发明具有收敛速度快，容易获得最优解的特点，其所估计出的射影深度能够使得合适的调整矩阵可以进行因数分解。

Description

基于蛙跳算法的直线射影深度估计方法

技术领域

本发明涉及射影重构技术领域，具体涉及一种基于蛙跳算法的直线射影深度估计方法。

背景技术

基于图像序列的三维重建通常是用点的重建，通过图像序列中对应的特征点匹配，在已知摄像机参数矩阵的条件下，就可以计算出点的三维坐标，三维物体的形状与位置就可以唯一确定。近年来，由于边缘检测算法的日益进步，物体的边缘较容易检测得到，而三维空间直线、曲线的重建就逐渐受到关注，成为计算机视觉领域的一大热点问题。特别对于建筑物等人工场景，直线是在几何模型里非常常见的元素。在部分图像中有遮挡的时候，直线仍能提供足够的信息用于重建，也不会影响重建的结果。

发明内容

本发明所要解决的技术问题是提供一种基于蛙跳算法的直线射影深度估计方法，其能够对三维空间直线到摄像机的射影深度进行估计，并使得合适的调整矩阵可以进行因数分解。

为解决上述问题，本发明是通过以下技术方案实现的：

基于蛙跳算法的直线射影深度估计方法，包括如下步骤：

步骤1，将n条三维空间直线通过射影矩阵投射到m幅透视图像上，生成测量矩阵；

步骤2，对所得透视图像序列及测量矩阵进行归一化处理；

步骤3，选择子群数量a和每个子群中青蛙的个数b，则整个种群的数量G＝a×b；定义一个解 $U\left(x\right)=\{{\mathrm{\λ}}_1^1,{\mathrm{\λ}}_1^2,...,{\mathrm{\λ}}_1^j,{\mathrm{\λ}}_2^1,{\mathrm{\λ}}_2^2,...,{\mathrm{\λ}}_2^j,...,{\mathrm{\λ}}_i^j...,{\mathrm{\λ}}_n^m\},$ i＝1,2,…,n，j＝1,2,…,m；

步骤4，生成G个青蛙，每个青蛙代表一个解U(x)；

步骤5，将每只青蛙所对应的测量矩阵进行奇异值分解，并由适应度函数公式计算每只青蛙的适应度J(x)；

步骤6，将所有青蛙按其青蛙的适应度J(x)排序，生成一个集合X＝{(U(x)，J(x)}，并记录整个种群中适应度最好青蛙Pg；

步骤7，将集合X分成a个子群Y_K，每个子群Y_K包含b个青蛙，并按以下公式将青蛙分组，放入不同的子群，

Y_k＝[(U(l)k，J(l)k)|U(l)k＝U(k+a(l-1))，J(l)k＝J(k+a(l-1))]

其中k＝1,2,…,a，l＝1,2,...,b；

步骤7，通过意识进化，使得每组子群中的每只青蛙离目标位置更逼近；

步骤8，在每个子群中执行了一定意识进化以后，将各个子群Y_K进行合并，合并后再按青蛙的适应度J(x)进行重新排序，以更新集合X＝{(U(x)，J(x)}及整个种群中适应度最好青蛙Pg；

步骤9，检查终止条件，如果迭代终止条件满足，则将整个种群中适应度最好青蛙Pg所代表的解U(x)作为待求的射影深度输出；否则，返回步骤6。

上述步骤7中，将每组子群中执行意识进化的过程如下：

步骤7-1，初始化子群计数im＝0，进化次数in＝0；用Pb和Pw分别表示每个子群Y_K中适应度最好和最差青蛙；

步骤7-2，子群计数im不变，并逐渐增大进化次数in，直至进化次数in达到设定的最大进化数N，每次进化次数in的变化对应一轮进化迭代；进化次数in不变，并逐渐增大子群计数im，直至子群计数im达到设定的子群数量a，每次子群计数im的变化对应一轮进化迭代；

步骤7-3，在每一轮进化迭代过程中，均采用如下方法调整每个子群中适应度最差青蛙Pw位置，即先计算最差青蛙Pw移动到最好青蛙Pb的距离D，再将最差青蛙Pw的当前位置加上距离D作为最差青蛙Pw的更新后的位置；

步骤7-4，比较最差青蛙Pw更新前和更新后的适应度，如果更新后的适应度好于更新前的适应度，则用处于新位置的最差青蛙Pw取代原来的青蛙，否则用整个种群中适应度最好青蛙Pg代替每个子群Y_K中适应度最好青蛙Pb，并重复步骤7-3的过程；

步骤7-5，如果始终不能生成更好的青蛙，那么就随机生成一个新的青蛙去取代原来最差青蛙Pw。

上述步骤5和步骤8中，均采用适应度J(x)升序的方式对所有青蛙的进行排序。

上述步骤9中，将整个种群中适应度最好青蛙Pg不再改变或达到最大的进化次数N作为迭代终止条件。

上述步骤2中，对所得透视图像序列及测量矩阵进行归一化处理是让每一幅透视图像中的透视图像的坐标乘上1个公共因子，使它们的平均范数为 $\sqrt{2}.$

与现有技术相比，本发明基于蛙跳算法来实现直线射影重构中的射影深度的估计，由于蛙跳算法是结合了以遗传为基础的memetic算法和以社会行为为基础的粒子群优化PSO算法的优点，因此本射影深度估计方法具有收敛速度快，容易获得最优解的特点，其所估计出的射影深度能够使得合适的调整矩阵可以进行因数分解。

具体实施方式

直线的射影重建算法原理：

首先用公式表示直线的射影重建。

式中，R表示从透视图像中检测出来的特征直线的相关测量矩阵。类似于从点的重建，R在因数分解前需要重新调节。这就需要一个图像直线相关的比例因子(射影深度)；Q表示摄像机运动；L表示直线结构。

假设在m幅透视图像中有n条三维维直线。目的是从图像的测量矩阵重建三维结构(线的空间位置)和运动(摄像机位置)。

一个简单的关于直线的图像投影方程如下，为射影深度：

${\mathrm{\λ}}_j^i{l}_j^i=Q^i{L}_j---\left(2\right)$

式中，Qⁱ是秩为3的3×6矩阵。

式中，是摄像机矩阵Pⁱ的行，表示匹配的平面P^ir和P^is的交线。

完整的透视投影方程为：

式中，Q和L分别表示运动和结构，3m′n矩阵R为重新调节的测量矩阵。L_j为三维空间直线在无穷远坐标平面的表示，即三维空间直线投影到平面的表示，其可以从透视图像获得，射影深度未知。

对矩阵进行SVD分解为和

R是直线测量矩阵，在相差任意非零常数因子的情况下可以写为：

式中，H秩为6，因此和均为R分解。

由上可知，要实现直线射影重构，其主要工作就是用合适的方法求得正确的射影深度。由于构成测量矩阵的图像数据之间的不平衡，优化过程有时是非常不稳定的，为了避免这种不稳定，对图像坐标进行归一化处理是非常有效的。本文归一化方法是：每一幅图像中的乘上一公共因子s_i(i＝1,…,F)，使它们的平均范数为

在无噪声且射影深度为正确值的理想情况下，测量矩阵R的秩是6，适应度函数：

$J=\underset{n=7}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\σ}}_n^2---\left(6\right)$

式中，J＝0是秩为6的充要条件，于是求使J取最小值的将给出所需要的射影深度。利用SVD分解，极小化从第7个以后的奇异值

蛙跳算法的原理：在SFLA中，种群由很多青蛙组成，每只青蛙代表一个解。种群被分成了多个子群，每个子群包括一定数量的青蛙，成为一个memeplex。不同的memeplex可以看做是具有不同文化的青蛙群，分别执行局部搜索。在每个memeplex中，每只青蛙都有自己的想法，并且还受其他青蛙想法的影响，通过memetic进化来发展。这样，经过一定的memetic进化以及跳跃过程，这些想法思路就在各个memeplex中传播开来。然后，继续局部搜索和跳跃，直到收敛标准满足为止。

本发明采用奇异值(SVD)分解获得直线射影结构，引入蛙跳算法估计射影深度信息，并使其收敛获得最精确值，再假定摄像机的内部参数已知以重建获得物体三维信息。

据此，一种基于蛙跳算法的直线射影深度估计方法，其具体包括如下步骤：

步骤1，将n条三维空间直线通过射影矩阵投射到m幅透视图像上，生成测量矩阵；是图像上直线的齐次坐标的标准向量，i＝1,2,...,m表示第i幅透视图像，j＝1,2,...,n表示第j条三维空间直线。

步骤2，对图像进行归一化处理。

步骤3，初始化，选择a，b，其中a表示memeplex的数量，即子群数量，b表示每个子群中青蛙的个数，那么整个种群的数量G＝a×b。由于射影模型可以用仿射模型迭代逼近，而仿射模型的射影深度为1，所以可以在(0，2]区间内随机选取，可以定义一个解为

$U\left(x\right)=\{{\mathrm{\λ}}_1^1,{\mathrm{\λ}}_1^2,...,{\mathrm{\λ}}_1^j,{\mathrm{\λ}}_2^1,{\mathrm{\λ}}_2^2,...,{\mathrm{\λ}}_2^j,...,{\mathrm{\λ}}_i^j...,{\mathrm{\λ}}_n^m\}$

其中i＝1,2,…,n，j＝1,2,…,m。

步骤4，生成G个青蛙，每个青蛙代表一个解，其中第x个的青蛙的解为U(x)，即U(1),U(2),…,U(G)，U(x)的性能即适应度用J(x)来表示，即J(1),J(2),…,J(G)。

步骤5，对青蛙划分等级，将每只青蛙对应的测量矩阵进行奇异值(svd)分解，并由适应度函数公式来计算每只青蛙的适应度，按适应度升序排列，生成集合Y_K＝{(U(x)，J(x)}，这样，该集合中处于第一位的青蛙的性能最好，记下种群中最好青蛙位置Pg。

步骤6，将青蛙分组，放入不同的子群。将集合X分成a个子群Y_K：Y₁,Y₂,…,Y_a。每个子群包含b个青蛙，即

Y_k＝[(U(l)k，J(l)k)|U(l)k＝U(k+a(l-1))，J(l)k＝J(k+a(l-1))]

其中k＝1,2,…,a，l＝1,2,...,b；

比如a＝4，那么第一只青蛙进入子群1，第2只进入子群2，第3只进入子群3，第4只进入子群4，第5只进入子群1，等等。

步骤7，将每组子群中执行意识进化。在每组子群中，每只青蛙受到其他青蛙想法的影响，通过意识进化，使得每只青蛙离目标位置更逼近。以下是每个子群中意识进化的详细步骤。

步骤7-1，设im＝0，im表示对子群的计数，在0-a之间变化，与子群的数量a比较。设in＝0，in表示进化次数，与每组子群中允许的最大进化次数N比较(N可以设定)。在每组子群中，用Pb和Pw分别表示性能最好和最差青蛙，用Pg表示整个种群中最好青蛙。在每一轮的进化中，改善最差青蛙Pw的位置，但并不是对所有青蛙都优化。

步骤7-2，im＝im+1；

步骤7-3，in＝in+1；

步骤7-4，调整最差青蛙位置，方法如下：

青蛙移动的距离D＝rand()*(Pb-Pw)

新的位置Pw＝Pw(当前位置)+D，(Dmax>＝Di>＝-Dmax)

其中，rand()是0到1之间的随机数，Dmax是允许青蛙移动的最大距离。

步骤7-5，如果上述过程能够使青蛙有一个更好的位置，即能够产生一个更好的解，那么就用新位置的青蛙取代原来的青蛙，否则，用Pg代替Pb，重复上述过程。

步骤7-6，如果上述方法仍不能生成更好的青蛙，那么就随机生成一个新解取代原来最差青蛙Pw；

步骤7-7，如果in<N,那么执行g-3；

步骤7-8，如果im<a,那么执行g-2。

步骤8，青蛙在子群之间跳跃移动，在每个子群中执行了一定意识进化以后，将各个子群Y₁,Y₂,…,Y_a合并，并将合并后的进行按青蛙的适应度J(x)进行重新排序，以更新集合X＝{(U(x)，J(x)}及整个种群中适应度最好青蛙Pg；

步骤9，检查终止条件。如果迭代终止条件满足，则停止。否则，重新执行步骤6。一般情况下，当执行一定次数的循环进化，代表最好青蛙不再改变或定义最大的进化次数N作为停止条件。

Claims (5)

1.基于蛙跳算法的直线射影深度估计方法，其特征是，包括如下步骤：

步骤1，将n条三维空间直线通过射影矩阵投射到m幅透视图像上，生成测量矩阵；

步骤2，对所得透视图像序列及测量矩阵进行归一化处理；

步骤3，选择子群数量a和每个子群中青蛙的个数b，则整个种群的数量G＝a×b；定义一个解 $U\left(x\right)=\{{\mathrm{\&lambda;}}_1^1,{\mathrm{\&lambda;}}_1^2,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&lambda;}}_1^j,{\mathrm{\&lambda;}}_2^1,{\mathrm{\&lambda;}}_2^2,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&lambda;}}_2^j,\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&lambda;}}_i^j\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&lambda;}}_n^m\},$ i＝1,2,…,n，j＝1,2,…,m；

步骤4，生成G个青蛙，每个青蛙代表一个解U(x)；

步骤5，将每只青蛙所对应的测量矩阵进行奇异值分解，并由适应度函数公式计算每只青蛙的适应度J(x)；

步骤6，将所有青蛙按其青蛙的适应度J(x)排序，生成一个集合X＝{(U(x)，J(x)}，并记录整个种群中适应度最好青蛙Pg；

步骤7，将集合X分成a个子群Y_K，每个子群Y_K包含b个青蛙，并按以下公式将青蛙分组，放入不同的子群，

Y_k＝[(U(l)k，J(l)k)|U(l)k＝U(k+a(l-1))，J(l)k＝J(k+a(l-1))]

其中k＝1,2,…,a，l＝1,2,...,b；

步骤7，通过意识进化，使得每组子群中的每只青蛙离目标位置更逼近；

步骤8，在每个子群中执行了一定意识进化以后，将各个子群Y_K进行合并，合并后再按青蛙的适应度J(x)进行重新排序，以更新集合X＝{(U(x)，J(x)}及整个种群中适应度最好青蛙Pg；

步骤9，检查终止条件，如果迭代终止条件满足，则将整个种群中适应度最好青蛙Pg所代表的解U(x)作为待求的射影深度输出；否则，返回步骤6。

2.根据权利要求1所述基于蛙跳算法的直线射影深度估计方法，其特征是，步骤7中，将每组子群中执行意识进化的过程如下：

步骤7-1，初始化子群计数im＝0，进化次数in＝0；用Pb和Pw分别表示每个子群Y_K中适应度最好和最差青蛙；

步骤7-2，子群计数im不变，并逐渐增大进化次数in，直至进化次数in达到设定的最大进化数N，每次进化次数in的变化对应一轮进化迭代；进化次数in不变，并逐渐增大子群计数im，直至子群计数im达到设定的子群数量a，每次子群计数im的变化对应一轮进化迭代；

步骤7-3，在每一轮进化迭代过程中，均采用如下方法调整每个子群中适应度最差青蛙Pw位置，即先计算最差青蛙Pw移动到最好青蛙Pb的距离D，再将最差青蛙Pw的当前位置加上距离D作为最差青蛙Pw的更新后的位置；

步骤7-4，比较最差青蛙Pw更新前和更新后的适应度，如果更新后的适应度好于更新前的适应度，则用处于新位置的最差青蛙Pw取代原来的青蛙，否则用整个种群中适应度最好青蛙Pg代替每个子群Y_K中适应度最好青蛙Pb，并重复步骤7-3的过程；

步骤7-5，如果始终不能生成更好的青蛙，那么就随机生成一个新的青蛙去取代原来最差青蛙Pw。

3.根据权利要求1所述基于蛙跳算法的直线射影深度估计方法，其特征是，步骤5和步骤8中，均采用适应度J(x)升序的方式对所有青蛙的进行排序。

4.根据权利要求1所述基于蛙跳算法的直线射影深度估计方法，其特征是，步骤9中，将整个种群中适应度最好青蛙Pg不再改变或达到最大的进化次数N作为迭代终止条件。

5.根据权利要求1所述基于蛙跳算法的直线射影深度估计方法，其特征是，步骤2中，对所得透视图像序列及测量矩阵进行归一化处理是让每一幅透视图像中的透视图像的坐标乘上1个公共因子，使它们的平均范数为